01 这是什么？
vLLM 是面向 GPU 吞吐优化的开源推理引擎，具备 PagedAttention 与连续批处理。Ray Serve 在此之上提供模型副本与流水线的弹性、分布式编排。两者共同构成规模化高吞吐 LLM 服务化的开源栈。
vLLM & Ray Serve
高吞吐 LLM 服务化与弹性模型编排的开源栈。
02 为什么要采用？
- PagedAttention 与连续批处理带来顶级吞吐
- 兼容多数开源权重 LLM
- Ray Serve 提供弹性编排与流水线
- 可自托管，无供应商锁定
- 社区活跃，模型覆盖速度快
03 我如何提供帮助
我按贵司的吞吐、时延与成本目标设计 vLLM 与 Ray Serve 部署，配套多租户隔离、GPU 调度与安全边界，并把该栈与更广义的可观测性与安全工具对接。
04 预期交付物
- vLLM + Ray Serve 部署架构
- GPU 调度与自动伸缩方案
- 多租户隔离与授权
- 可观测性集成（Prometheus、OpenTelemetry）
- 性能与成本基准测试