vllm

机器翻译正文由机器翻译自项目原始文档（英文），排版经程序统一处理，可能存在偏差，请以原项目仓库为准。

简单、快速、廉价的 LLM 服务，面向所有人

| Documentation | Blog | Paper | Twitter/X | User Forum | Developer Slack |

🔥 我们已经建立了一个 vLLM 网站来帮助您入门 vLLM。请访问 vllm.ai 了解更多信息。有关活动，请访问 vllm.ai/events 加入我们。

关于

vLLM 是一个用于大语言模型推理和服务的快速且易于使用的库。

vLLM 最初在加州大学伯克利分校的 Sky Computing Lab 开发，由来自 2000 多名贡献者的众多学术机构和公司组成的多元化社区构建和维护，现已发展成为最活跃的开源 AI 项目之一。

vLLM 速度快，具备以下特点：

• 最先进的服务吞吐量
• 通过 PagedAttention 高效管理注意力键和值的内存
• 对接收请求进行连续批处理、分块预填充、前缀缓存
• 使用分片和完整的 CUDA/HIP 图进行快速且灵活的模型执行
• 量化：FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF, 压缩张量, ModelOpt, TorchAO，以及更多 链接
• 优化的注意力内核，包括 FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA 和 Triton
• 使用 CUTLASS、TRTLLM-GEN、CuTeDSL 为各种精度优化的 GEMM/MoE 内核
• 包含 n-gram、后缀、EAGLE、DFlash 的推测性解码
• 使用 torch.compile 进行自动内核生成和图级转换
• 分离的预填充、解码和编码

vLLM 灵活且易于使用，具备以下特点：

• 与流行的 Hugging Face 模型无缝集成
• 使用多种解码算法进行高吞吐量服务，包括 并行采样、束搜索 等
• 分布式推理支持张量、流水线、数据、专家和上下文并行
• 流式输出
• 使用 xgrammar 或 guidance 生成结构化输出
• 工具调用和推理解析器
• 兼容 OpenAI 的 API 服务器，同时支持 Anthropic Messages API 和 gRPC
• 高效的多 LoRA 支持，适用于稠密层和 MoE 层
• 支持 NVIDIA GPU、AMD GPU、Intel GPU 以及 x86/ARM/PowerPC CPU。此外，还支持各种硬件插件，如 Google TPU、Intel Gaudi、IBM Spyre、华为昇腾、Rebellions NPU、Apple Silicon、MetaX GPU 等。

vLLM 无缝支持 Hugging Face 上的 200 种模型架构，包括：

• 仅解码器 LLM（例如：Llama、Qwen、Gemma）
• 专家混合 LLM（例如：Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS）
• 混合注意力和状态空间模型（例如：Mamba、Qwen3.5）
• 多模态模型（例如：LLaVA、Qwen-VL、Pixtral）
• 嵌入与检索模型（例如：E5-Mistral、GTE、ColBERT）
• 奖励与分类模型（例如：Qwen-Math）

完整支持模型列表请点击这里。

入门指南

使用 uv （推荐）或 pip 安装 vLLM：

uv pip install vllm

或者为开发目的从源代码构建。

访问我们的文档以了解更多信息。

• Installation
• Quickstart
• List of Supported Models

贡献

我们欢迎并重视任何贡献与合作。请查看 Contributing to vLLM 了解如何参与。

引用

如果您在研究中使用 vLLM，请引用我们的论文：

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}

联系我们

• 对于技术问题和功能请求，请使用 GitHub 问题
• 与其他用户讨论，请使用 vLLM 论坛
• 协调贡献和开发，请使用 Slack
• 关于安全漏洞披露，请使用 GitHub 的 安全咨询 功能
• 关于合作与伙伴关系，请通过 collaboration@vllm.ai 联系我们

媒体套件

• 如果您希望使用 vLLM 的标志，请参阅 我们的媒体工具包仓库