Unverified

近期热门 AI 开源项目 · GitHub ★ 23,726

promptfoo

用于提示、模型、RAG 和代理的开源评测与红队工具,可在 CI 中做回归测试和安全扫描。

用于提示、模型、RAG 和代理的开源评测与红队工具,可在 CI 中做回归测试和安全扫描。 截至 2026-07-29,GitHub 公开元数据显示约 23,726 stars,仓库最近推送于 2026-07-29;最近公开 release 为 0.121.19(2026-07-14)。本条目根据公开仓库与 README 资料整理;功能、部署方式和生产可用性尚未做运行验证。

AIOpen Source提示评测红队测试CI模型对比llmprompt-engineeringpromptsllmopsprompt-testingtestingragevaluationevaluation-frameworkllm-evalllm-evaluationllm-evaluation-frameworkci-cdcicd
01

Screenshots

promptfoo 提示词评测矩阵
promptfoo 评测配置界面
promptfoo Claude 与 GPT-4 对比结果
promptfoo 红队测试摘要
promptfoo 漏洞仪表盘
02

How it works

  1. Step 1

    发现热门项目

    以 2026-07-29 的 GitHub stars、最近推送和公开资料作为发现信号。

  2. Step 2

    核对上游边界

    阅读 promptfoo/promptfoo 在抓取提交 ac8971fcfa961fa5fa96bcc4f527f5309b504997 的文档、许可证和依赖要求。

  3. Step 3

    确认后交给 Agent

    先确认目标与验收标准,再建立运行基线并做最小范围改造;未知项保持 Unverified。

03

Capabilities and scenarios

  • 用于提示、模型、RAG 和代理的开源评测与红队工具,可在 CI 中做回归测试和安全扫描。
  • 提供可追溯的公开源仓库;默认分支为 main,本次抓取提交为 ac8971fcfa961fa5fa96bcc4f527f5309b504997.
  • GitHub 热度证据:约 23,726 stars,最近推送于 2026-07-29.

Good starting points

Scenario 1

评估 promptfoo 是否适合作为相关 AI 产品或工程方案的开源起点。

Scenario 2

将公开仓库与本 Redo Pack 交给 Agent,在确认目标、许可证和运行条件后搭建或改造自己的版本。

04

Fit and limitations

Fit at a glance

Project type
近期热门 AI 开源项目 · GitHub ★ 23,726
Repository set
1 repository
Runtime status
Unverified

Known limitations

  • Unverified:本次仅核验公开仓库元数据,没有安装依赖、运行项目或验证生产可用性。
  • Unverified:项目专属的硬件、模型、数据、账号、网络与运行成本要求需以抓取提交对应的官方文档为准。
  • GitHub stars 与活跃度是 2026-07-29 的时间点数据,会随时间变化。

Confirm before starting

  • 先阅读 https://github.com/promptfoo/promptfoo 在提交 ac8971fcfa961fa5fa96bcc4f527f5309b504997 对应的 README、安装文档和许可证。
  • 在执行任何命令前确认目标环境、依赖版本、模型/硬件/存储需求和验收标准。
  • 密钥、token、私有代码、私有数据和 .env 只能保留在用户控制的环境中。
05

Repository set

These repositories form the complete project workflow. Follow setup order and include optional services only when the confirmed goal needs them.

Setup 1Required

promptfoo/promptfoo

该条目的唯一上游源仓库;用于提示、模型、RAG 和代理的开源评测与红队工具,可在 CI 中做回归测试和安全扫描。

Default branch
main
Captured revision
ac8971fcfa961fa5fa96bcc4f527f5309b504997
Author / maintainer
promptfoo
License
MIT
公开资料来源:https://github.com/promptfoo/promptfoo。接近 2.4 万星,同时覆盖质量评测与安全红队,适合直接接入工程流水线。

Catalog updated 2026-07-29. Reconfirm licenses, revisions, environment requirements, and runtime behavior from each repository before starting.

Project lineage

Project relationships

Every extension should preserve a clear path back to its sources.

01

Upstream projects

Where this project started

No upstream projects yet

02

Peer projects

Projects with the same upstream

No peer projects yet

03

Downstream projects

Published work derived from this project

No downstream projects yet