Promptfoo

一句话简介

Promptfoo 是一款开源的大语言模型（LLM）应用测试与安全评估框架，帮助开发者自动化检测 AI 系统的提示词质量、模型性能和安全漏洞。

网站介绍

Promptfoo 是一个专注于 AI 安全与评估的开源平台，成立于 2024 年，总部位于美国旧金山，由 Ian Webster 和 Michael D'Angelo 联合创立。该平台提供一套完整的工具链，用于大语言模型应用的自动化评估、红队安全测试和多模型对比。2026 年 3 月，Promptfoo 被 OpenAI 正式收购，其技术将整合至 OpenAI Frontier 企业级智能体平台，同时继续维护开源项目。

Promptfoo 主要面向 AI 应用开发者、安全工程师、QA 测试人员以及正在构建和部署大语言模型应用的企业团队。目前已有超过 35 万名开发者使用，超过 25% 的财富 500 强企业采用其产品。

核心功能/栏目

1. LLM 评估与测试：自动化评估提示词质量和模型输出性能，支持批量测试与断言检查，通过 YAML 配置文件声明测试用例。

2. 红队安全测试：内置多种安全测试插件，可自动化进行红队演练，检测提示注入、越狱攻击、数据泄露等安全风险，并生成安全报告。

3. 多模型横向对比：支持 OpenAI、Anthropic、Google、Azure、本地模型（如 Ollama）等主流模型的对比测试，帮助开发者选择最优方案。

4. CI/CD 工程化集成：可无缝集成到持续集成和持续部署流程中，实现自动化回归测试，确保每次更新的安全性和稳定性。

5. Web 可视化界面：提供直观的 Web UI，便于开发者可视化对比不同模型和提示词版本的测试结果。

6. 移动端测试支持：可模拟弱网环境等移动端场景，评估 LLM 应用在移动设备上的表现。

推荐优势/特点

1. 完全开源免费：基于 TypeScript/Node.js 构建，代码开源，支持本地运行，测试数据不会离开本机，保障数据隐私安全。

2. 测试即代码：采用声明式 YAML 配置，测试用例以代码形式管理，便于版本控制和团队协作。

3. 模型兼容性强：同时支持 OpenAI、Anthropic、Google、Azure、HuggingFace 等商业模型以及本地开源模型，还可通过自定义 API 接入任意模型。

4. 企业级验证：已被超过 25% 的财富 500 强企业采用，GitHub 星标超过 10.8k，社区活跃度高，文档完善。

5. 双模式使用：同时提供命令行工具（CLI）和 Web 界面两种使用方式，满足不同开发场景的需求。

使用方法/入口指引

1. 访问官网：打开浏览器访问 Promptfoo 官方网站 https://www.promptfoo.dev ，查阅文档和快速入门指南。

2. 安装工具：在终端中执行 npm install -g promptfoo 命令进行全局安装（需提前安装 Node.js 环境）。

3. 初始化项目：在项目目录中执行 promptfoo init 命令，自动生成 promptfooconfig.yaml 配置文件。

4. 编写测试用例：在 YAML 配置文件中定义提示词（prompts）、模型提供商（providers）和测试断言（tests）。

5. 运行评估：执行 promptfoo eval 命令启动测试，查看测试结果。

6. 查看报告：执行 promptfoo view 命令打开 Web 界面，可视化查看和分析测试报告。

同类/相关网站推荐

1. OpenAI Playground（https://platform.openai.com/playground）：OpenAI 官方提供的在线提示词调试与模型测试平台。

2. Anthropic Console（https://console.anthropic.com）：Anthropic 官方的 Claude 模型测试与 API 管理平台。

3. LangSmith（https://smith.langchain.com）：LangChain 推出的 LLM 应用监控、评估与调试平台。

4. Hugging Face（https://huggingface.co）：全球最大的开源 AI 模型社区，提供模型托管、测试与部署服务。

5. Ollama（https://ollama.com）：本地运行大语言模型的开源工具，支持多种开源模型的快速部署与测试。