近期热门 AI 开源项目 · GitHub ★ 14,243
TensorRT-LLM
NVIDIA 面向 CUDA GPU 的大模型推理优化、运行时编排与高性能服务工具链。
NVIDIA 面向 CUDA GPU 的大模型推理优化、运行时编排与高性能服务工具链。 截至 2026-07-29，GitHub 公开元数据显示约 14,243 stars，仓库最近推送于 2026-07-29；最近公开 release 为 v1.2.1（2026-04-20）。本条目根据公开仓库与 README 资料整理；功能、部署方式和生产可用性尚未做运行验证。
Screenshots
How it works
- Step 1
发现热门项目
以 2026-07-29 的 GitHub stars、最近推送和公开资料作为发现信号。
- Step 2
核对上游边界
阅读 NVIDIA/TensorRT-LLM 在抓取提交 f20ea652dd621006148aa918c970ba686cdda407 的文档、许可证和依赖要求。
- Step 3
确认后交给 Agent
先确认目标与验收标准，再建立运行基线并做最小范围改造；未知项保持 Unverified。
Capabilities and scenarios
- NVIDIA 面向 CUDA GPU 的大模型推理优化、运行时编排与高性能服务工具链。
- 提供可追溯的公开源仓库；默认分支为 main，本次抓取提交为 f20ea652dd621006148aa918c970ba686cdda407.
- GitHub 热度证据：约 14,243 stars，最近推送于 2026-07-29.
Good starting points
评估 TensorRT-LLM 是否适合作为相关 AI 产品或工程方案的开源起点。
将公开仓库与本 Redo Pack 交给 Agent，在确认目标、许可证和运行条件后搭建或改造自己的版本。
Fit and limitations
Fit at a glance
- Project type
- 近期热门 AI 开源项目 · GitHub ★ 14,243
- Repository set
- 1 repository
- Runtime status
- Unverified
! Known limitations
- Unverified：本次仅核验公开仓库元数据，没有安装依赖、运行项目或验证生产可用性。
- Unverified：项目专属的硬件、模型、数据、账号、网络与运行成本要求需以抓取提交对应的官方文档为准。
- GitHub stars 与活跃度是 2026-07-29 的时间点数据，会随时间变化。
? Confirm before starting
- 先阅读 https://github.com/NVIDIA/TensorRT-LLM 在提交 f20ea652dd621006148aa918c970ba686cdda407 对应的 README、安装文档和许可证。
- 在执行任何命令前确认目标环境、依赖版本、模型/硬件/存储需求和验收标准。
- 密钥、token、私有代码、私有数据和 .env 只能保留在用户控制的环境中。
Repository set
These repositories form the complete project workflow. Follow setup order and include optional services only when the confirmed goal needs them.
NVIDIA/TensorRT-LLM
该条目的唯一上游源仓库；NVIDIA 面向 CUDA GPU 的大模型推理优化、运行时编排与高性能服务工具链。
- Default branch
- main
- Captured revision
- f20ea652dd621006148aa918c970ba686cdda407
- Author / maintainer
- NVIDIA
- License
- Other
Catalog updated 2026-07-29. Reconfirm licenses, revisions, environment requirements, and runtime behavior from each repository before starting.