TokenSpeed

TokenSpeed 是 LightSeek Foundation 开源的 LLM 推理引擎，专为 Agent 高并发场景设计。拥有 TensorRT-LLM 级别的性能和 vLLM 级别的易用性，针对 NVIDIA Blackwell GPU 深度优化。支持 DeepSeek、GPT、Qwen、Kimi 等主流模型，集成 AsyncLLM 异步引擎确保 CPU 不成为瓶颈。获英伟达官方推荐。