Unverified

近期热门 AI 开源项目 · GitHub ★ 87,564

vLLM

面向大语言模型的高吞吐、显存高效推理与 OpenAI 兼容服务引擎。

面向大语言模型的高吞吐、显存高效推理与 OpenAI 兼容服务引擎。 截至 2026-07-29,GitHub 公开元数据显示约 87,564 stars,仓库最近推送于 2026-07-29;最近公开 release 为 v0.26.0(2026-07-27)。本条目根据公开仓库与 README 资料整理;功能、部署方式和生产可用性尚未做运行验证。

AIOpen Sourcellm-servinginferencePagedAttentionGPUOpenAI-APIgptllmpytorchmodel-servingtransformerllamaamdcudatpudeepseekqwenblackwelldeepseek-v3
01

Screenshots

AnythingLLM 通过 vLLM 对文档进行聊天
AnythingLLM 配置 vLLM 模型提供方
Chatbox 连接 vLLM 后的对话界面
Open WebUI 连接 vLLM 的聊天页面
vLLM Streamlit 聊天演示界面
02

How it works

  1. Step 1

    发现热门项目

    以 2026-07-29 的 GitHub stars、最近推送和公开资料作为发现信号。

  2. Step 2

    核对上游边界

    阅读 vllm-project/vllm 在抓取提交 a0c092ee72c0dcefbb3b3e74f97ac62d842e5f4b 的文档、许可证和依赖要求。

  3. Step 3

    确认后交给 Agent

    先确认目标与验收标准,再建立运行基线并做最小范围改造;未知项保持 Unverified。

03

Capabilities and scenarios

  • 面向大语言模型的高吞吐、显存高效推理与 OpenAI 兼容服务引擎。
  • 提供可追溯的公开源仓库;默认分支为 main,本次抓取提交为 a0c092ee72c0dcefbb3b3e74f97ac62d842e5f4b.
  • GitHub 热度证据:约 87,564 stars,最近推送于 2026-07-29.

Good starting points

Scenario 1

评估 vllm 是否适合作为相关 AI 产品或工程方案的开源起点。

Scenario 2

将公开仓库与本 Redo Pack 交给 Agent,在确认目标、许可证和运行条件后搭建或改造自己的版本。

04

Fit and limitations

Fit at a glance

Project type
近期热门 AI 开源项目 · GitHub ★ 87,564
Repository set
1 repository
Runtime status
Unverified

Known limitations

  • Unverified:本次仅核验公开仓库元数据,没有安装依赖、运行项目或验证生产可用性。
  • Unverified:项目专属的硬件、模型、数据、账号、网络与运行成本要求需以抓取提交对应的官方文档为准。
  • GitHub stars 与活跃度是 2026-07-29 的时间点数据,会随时间变化。

Confirm before starting

  • 先阅读 https://github.com/vllm-project/vllm 在提交 a0c092ee72c0dcefbb3b3e74f97ac62d842e5f4b 对应的 README、安装文档和许可证。
  • 在执行任何命令前确认目标环境、依赖版本、模型/硬件/存储需求和验收标准。
  • 密钥、token、私有代码、私有数据和 .env 只能保留在用户控制的环境中。
05

Repository set

These repositories form the complete project workflow. Follow setup order and include optional services only when the confirmed goal needs them.

Setup 1Required

vllm-project/vllm

该条目的唯一上游源仓库;面向大语言模型的高吞吐、显存高效推理与 OpenAI 兼容服务引擎。

Default branch
main
Captured revision
a0c092ee72c0dcefbb3b3e74f97ac62d842e5f4b
Author / maintainer
vllm-project
License
Apache-2.0
公开资料来源:https://github.com/vllm-project/vllm ; https://api.github.com/repos/vllm-project/vllm ; https://vllm.ai。约 8.8 万星,是生产级 LLM Serving 的事实标准之一,抓取当天仍有提交。

Catalog updated 2026-07-29. Reconfirm licenses, revisions, environment requirements, and runtime behavior from each repository before starting.

Project lineage

Project relationships

Every extension should preserve a clear path back to its sources.

01

Upstream projects

Where this project started

No upstream projects yet

02

Peer projects

Projects with the same upstream

No peer projects yet

03

Downstream projects

Published work derived from this project

No downstream projects yet