sglang 大模型 SGLang 是一个用于大型语言模型和多模态模型的高性能服务框架。 Python deepseek Apache Apache-2.0 blackwell cuda diffusion attention OTO · ID:79 查看 ↗
vllm 大模型 一个用于大型语言模型的高吞吐量且内存高效的推理和服务引擎 Python deepseek Apache Apache-2.0 amd blackwell cuda deepseek-v3 OTO · ID:16 查看 ↗