PrivateGPT
在本地模型上为 AI 应用提供资料检索和工具接口。
PrivateGPT 是构建私有AI应用的API层，提供消息、资料摄取、引用检索和工具接口；模型推理由另行运行的兼容服务负责。
可以用来完成：为本地模型搭建文档问答或业务应用后端
PrivateGPT 能做什么
当前产品以API为核心，内置/ui工作台用于测试和演示。它不等同于一个已经包含全部模型的桌面聊天软件。
构建应用时需要同时准备推理、嵌入及必要的数据存储，再按任务启用检索、数据库或MCP能力。
提供应用消息接口
API支持消息、流式输出、异步处理和token计数，为自己的应用提供统一的交互层。
摄取资料并返回引用
可接入文件与产物，通过带引用的检索及Agentic RAG组织文档上下文。
连接数据库和工具
提供数据库、CSV、内置工具、自定义工具和MCP连接等能力，可按应用需要组合。
使用工作台检查请求
/ui工作台可选择模型、上传文档、测试引用、启用工具并通过API Debugger观察请求和响应。
- 核心用途
- 消息API、资料摄取、引用检索与工具
- 可完成的工作
- 为本地模型搭建文档问答或业务应用后端
- 如何开始
- 先运行兼容推理服务，再配置PrivateGPT
- 使用条件
- 它本身不运行模型；部分接口能力依赖推理服务
可以完成哪些工作
按你的目标查看准备资料、操作方法和交付结果。
搭建私有资料问答原型可继续开发的资料问答API原型。
适合：开发内部AI应用的人
- 准备什么
- 可用推理服务、嵌入模型和少量测试资料。
- 怎么完成
- 编辑建议：配置模型地址后通过工作台上传资料，先检查检索引用，再把通过的流程接入应用。
- 完成后得到什么
- 可继续开发的资料问答API原型。
- 交付前检查
- 核对模型实际运行位置、引用命中和访问范围。
让程序查询表格资料与结构化数据关联的回答。
适合：处理结构化信息的开发者
- 准备什么
- 可供测试的CSV或数据库及只读问题。
- 怎么完成
- 编辑建议：配置数据连接，先使用只读小样本检查字段和查询结果，再接应用界面。
- 完成后得到什么
- 与结构化数据关联的回答。
- 交付前检查
- 对照原始行列，确认连接账号没有多余写入权限。
为现有客户端接本地后端适配特定客户端的本地后端。
适合：集成AI工具的开发者
- 准备什么
- 客户端协议要求、推理地址与目标模型。
- 怎么完成
- 编辑建议：先确认接口兼容范围，再发送基础消息，逐步测试工具和结构化输出。
- 完成后得到什么
- 适配特定客户端的本地后端。
- 交付前检查
- 不能把基础聊天通过推断成所有高级接口兼容。
如何使用 PrivateGPT
- 启动推理和嵌入服务
先准备实现相应兼容接口的推理服务；PrivateGPT本身不会加载并运行模型。
- 安装并配置API地址
按系统选择官方安装方式，设置OPENAI_API_BASE及嵌入服务地址后启动服务。
- 打开工作台测试
访问/ui，用短消息、少量文件和明确问题检查模型与引用检索。
- 再连接业务应用
将通过检查的API流程接入客户端，按任务逐项开放工具、数据库或MCP。
界面与操作参考
开始前需要了解
模型服务是前置条件
需要能提供/v1/chat/completions及/v1/models等接口的兼容服务；仅安装PrivateGPT无法完成推理。
部分能力有兼容范围
官方矩阵将结构化输出标为推理依赖、视觉标为模型依赖，Skills仅部分支持；不应假设所有端点完全等价。
企业平台能力另属Zylon
Zylon增加完整部署、治理、用户管理等企业能力；不能把这些自动算入PrivateGPT开源API层。
PrivateGPT本身不运行模型，需要独立兼容推理服务；视觉与结构化输出受模型或推理后端限制。
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查，再用于实际工作。
常见问题
PrivateGPT会自己运行模型吗？
不会。它连接已有兼容推理服务，模型运行、资源和授权由对应服务与模型决定。
可以只用内置工作台吗？
工作台可以测试、演示或进行本地试用，但核心产品是API，正式应用通常需要自己的界面与业务流程。
有文档引用能力吗？
有，文件摄取和检索支持引用，可在工作台先检查再接入自己的程序。
它包含企业单点登录与完整运维平台吗？
不能这样理解。官方区分PrivateGPT应用API层与Zylon完整企业基础设施，能力和条件分别确认。
从办公文档与PPT角度评估PrivateGPT
把办公文档与PPT需要的条件列清楚，再比较工具。阅读本页的产品用途、步骤与限制，再逐项确认下面的问题；这些是选型方法，不表示每款工具都具备同样能力。
能否继续编辑
正文、表格与图表应能交回常用办公工具修改。
有没有原文依据
摘要中的数字、日期和结论需要回到输入材料。
接收方能否使用
交付前确认文件格式、阅读时长和需要对方作出的决定。
选择一个小样任务，先检查结果与交付格式，再决定是否用于更多资料。
