企业智能体私有化部署 — 全栈软件清单

企业智能体私有化部署 — 全栈软件清单

第一层：基础设施与操作系统层 让硬件"跑起来"的底座 序号 软件类别 具体软件 用途说明 许可类型 1 服务器操作系统 Ubuntu Server 22.04/24.04 LTS GPU 服务器首选 OS 开源免费 2 服务器操作系统...

第一层：基础设施与操作系统层

让硬件"跑起来"的底座
序号 软件类别 具体软件 用途说明 许可类型
1 服务器操作系统 Ubuntu Server 22.04/24.04 LTS GPU 服务器首选 OS 开源免费
2 服务器操作系统（备选） CentOS Stream / Rocky Linux / openEuler 国产化适配场景 开源免费
3 GPU 驱动 NVIDIA Driver GPU 硬件驱动 免费
4 GPU 计算框架 NVIDIA CUDA Toolkit GPU 并行计算基础库 免费
5 GPU 深度学习库 cuDNN 深度学习加速库 免费
6 容器运行时 Docker Engine / containerd 容器化部署基础 开源免费
7 GPU 容器支持 NVIDIA Container Toolkit 容器内调用 GPU 免费
8 容器编排平台 Kubernetes（K8s） 集群管理与服务编排 开源免费
9 K8s 发行版（可选） K3s / KubeSphere / Rancher 轻量化或国产化 K8s 管理 开源/商业
10 虚拟化平台（可选） VMware vSphere / Proxmox VE 如需虚拟化管理多节点 商业/开源

第二层：大模型推理与服务层

让大模型能被调用的核心引擎
序号 软件类别 具体软件 用途说明 许可类型
11 大语言模型（LLM） Qwen2.5 / DeepSeek-V3 / ChatGLM4 / Llama 3.1 / Mistral 核心推理能力（选择 1～2 个） 开源（需遵守各自许可协议）
12 模型推理引擎 vLLM 高性能 LLM 推理服务 开源免费
13 模型推理引擎（备选） TensorRT-LLM + Triton Inference Server NVIDIA 生态推理加速 免费
14 模型推理引擎（备选） Ollama 轻量级本地模型部署 开源免费
15 模型推理引擎（备选） Xinference 国产，支持多模型管理 开源免费
16 模型网关/路由 LiteLLM / One API 统一多模型 API 接口、负载均衡、Key 管理 开源免费
17 Embedding 模型 BGE-large-zh / M3E / BCE-Embedding 文本向量化（中文优化） 开源免费
18 Reranker 模型 BGE-Reranker / BCE-Reranker 检索结果重排序，提升 RAG 精度 开源免费
19 多模态模型（可选） Qwen-VL / InternVL / CogVLM 图文理解能力 开源

第三层：模型微调与训练层（按需）

用企业数据定制模型
序号 软件类别 具体软件 用途说明 许可类型
20 微调框架 LLaMA-Factory 一站式 LLM 微调（LoRA/QLoRA/全量） 开源免费
21 微调框架（备选） XTuner / Unsloth 高效微调工具 开源免费
22 深度学习框架 PyTorch 模型训练与推理基础框架 开源免费
23 分布式训练 DeepSpeed / Megatron-LM 多卡/多机分布式训练 开源免费
24 模型量化工具 GPTQ / AWQ / llama.cpp（GGUF） 模型压缩，降低显存需求 开源免费
25 实验管理 MLflow / Weights & Biases（自托管版） 训练实验跟踪、模型版本管理 开源/商业
26 数据标注平台 Label Studio / Doccano 微调数据标注 开源免费

第四层：知识与数据层

为智能体提供企业专属知识
序号 软件类别 具体软件 用途说明 许可类型
27 向量数据库 Milvus 大规模向量存储与检索（国产，生产级） 开源免费
28 向量数据库（备选） Weaviate / Qdrant / Chroma 不同规模场景可选 开源免费
29 向量数据库（轻量） PGVector（PostgreSQL 插件） 利用现有 PG 数据库直接支持向量 开源免费
30 关系型数据库 PostgreSQL / MySQL 存储业务数据、用户数据、配置数据 开源免费
31 缓存数据库 Redis 会话缓存、对话记忆、热数据加速 开源免费
32 文档解析引擎 MinerU / Unstructured / Docling 解析 PDF/Word/PPT/扫描件等非结构化文档 开源免费
33 OCR 引擎 PaddleOCR / Tesseract 图片与扫描件文字识别 开源免费
34 知识图谱（可选） Neo4j（社区版） / Nebula Graph 构建企业知识图谱，增强推理能力 开源/商业
35 对象存储 MinIO 存储文档、图片、模型文件等非结构化数据 开源免费
36 搜索引擎 Elasticsearch / OpenSearch 全文检索 + 混合检索（关键词 + 语义） 开源免费
37 数据集成/ETL Apache Airflow / DolphinScheduler 数据清洗、同步、调度 开源免费

第五层：智能体编排与应用层

让大模型"做事"而非仅"聊天"
序号 软件类别 具体软件 用途说明 许可类型
38 智能体开发平台（一体化） Dify RAG + 工作流 + Agent + 对话管理（国产，推荐） 开源免费
39 智能体开发平台（备选） FastGPT / MaxKB / RagFlow 不同侧重的国产开源 RAG/Agent 平台 开源免费
40 智能体框架 LangChain / LangGraph 编程式智能体开发框架 开源免费
41 智能体框架（备选） CrewAI / AutoGen / MetaGPT 多智能体协同框架 开源免费
42 RAG 框架 LlamaIndex 知识索引与检索增强生成 开源免费
43 工作流引擎 Temporal / n8n（自托管） 复杂业务流程编排与调度 开源免费
44 工具调用协议 MCP Server（Model Context Protocol） 标准化工具调用协议，连接外部工具 开源
45 代码执行沙箱 E2B / Docker 沙箱 安全执行智能体生成的代码 开源/商业

第六层：系统集成与接口层

打通企业现有系统的"桥梁"
序号 软件类别 具体软件 用途说明 许可类型
46 API 网关 Apache APISIX / Kong（OSS） 统一 API 管理、鉴权、限流、路由 开源免费
47 反向代理/负载均衡 Nginx / OpenResty HTTP 反向代理、SSL 终止、负载均衡 开源免费
48 消息队列 RabbitMQ / Apache Kafka / RocketMQ 异步通信、事件驱动架构 开源免费
49 RPA 工具（可选） 影刀 / 来也科技 / 开源 RPA 对接无 API 的传统系统（如老旧 ERP） 商业/开源
50 企业 IM 集成 SDK 企业微信 SDK / 钉钉 SDK / 飞书 SDK 将智能体接入企业通讯工具 免费
51 Webhook 服务 自研或框架内置 接收和发送事件通知 —

第七层：前端与交互层

用户"看得见、摸得着"的界面
序号 软件类别 具体软件 用途说明 许可类型
52 Web 前端框架 React / Vue.js / Next.js 构建管理后台与用户交互界面 开源免费
53 对话 UI 组件 ChatUI / CopilotKit / Chatbot UI 开箱即用的聊天对话界面 开源免费
54 低代码前端（可选） Appsmith / NocoBase 快速构建管理后台 开源免费
55 可视化报表（可选） Apache Superset / Grafana 数据看板与分析报表 开源免费

第八层：安全与权限层

保障数据安全与访问控制
序号 软件类别 具体软件 用途说明 许可类型
56 身份认证与授权 Keycloak SSO 单点登录、LDAP/AD 集成、RBAC 权限 开源免费
57 LDAP 目录服务 OpenLDAP / 对接企业 AD 企业用户目录管理 开源免费
58 数据脱敏工具 自研规则引擎 / Presidio 敏感信息识别与脱敏 开源免费
59 内容安全/护栏 NeMo Guardrails / Guardrails AI 输入/输出内容过滤、合规检查 开源免费
60 敏感词过滤 自研敏感词库 + 过滤服务 中文敏感内容拦截 自研
61 SSL/TLS 证书管理 Let's Encrypt / 自签 CA / 企业 CA HTTPS 加密通信 免费
62 密钥/密码管理 HashiCorp Vault（OSS） 统一管理 API Key、数据库密码等敏感信息 开源免费
63 网络安全 防火墙（iptables/nftables）+ WAF 网络隔离与 Web 应用防护 开源/商业

第九层：运维监控与可观测性层

系统的"仪表盘与体检中心"
序号 软件类别 具体软件 用途说明 许可类型
64 LLM 专用监控 LangFuse（自托管） LLM 调用链追踪、Token 统计、成本分析 开源免费
65 LLM 监控（备选） Phoenix（Arize）/ Helicone（自托管） 模型性能与质量监控 开源
66 基础设施监控 Prometheus + Grafana 服务器/容器/GPU 资源监控告警 开源免费
67 GPU 监控 DCGM（Data Center GPU Manager） GPU 利用率、温度、显存等专项监控 免费
68 日志管理 ELK Stack（Elasticsearch + Logstash + Kibana）/ Loki 全链路日志采集、存储与查询 开源免费
69 链路追踪 Jaeger / OpenTelemetry 分布式请求链路追踪 开源免费
70 告警通知 Alertmanager + 企微/钉钉 Webhook 异常告警通知 开源免费

第十层：评测与质量保障层

确保智能体"答得准、答得好"
序号 软件类别 具体软件 用途说明 许可类型
71 RAG 评测框架 RAGAS 自动评估 RAG 的准确率、召回率、忠实度 开源免费
72 LLM 评测框架 DeepEval / OpenCompass 大模型综合能力评测 开源免费
73 自动化测试 Pytest + 自定义测试用例 接口测试与回归测试 开源免费
74 人工评测平台 Label Studio / 自研 人工审核智能体回答质量 开源免费

第十一层：DevOps 与持续交付层

支撑持续迭代与自动化部署
序号 软件类别 具体软件 用途说明 许可类型
75 代码仓库 GitLab CE（自托管） / Gitea 私有化代码与配置管理 开源免费
76 CI/CD 流水线 GitLab CI / Jenkins / Argo CD 自动化构建、测试、部署 开源免费
77 镜像仓库 Harbor 私有化 Docker 镜像存储与管理 开源免费
78 配置管理 Nacos / Consul / etcd 服务配置中心与服务发现 开源免费
79 基础设施即代码 Ansible / Terraform 自动化服务器配置与环境部署 开源免费

📊 汇总统计

层级 软件数量 核心程度
基础设施与 OS ~10 ⭐⭐⭐⭐⭐ 必需
模型推理与服务 ~9 ⭐⭐⭐⭐⭐ 必需
模型微调与训练 ~7 ⭐⭐⭐ 按需
知识与数据 ~11 ⭐⭐⭐⭐⭐ 必需
智能体编排与应用 ~8 ⭐⭐⭐⭐⭐ 必需
系统集成与接口 ~6 ⭐⭐⭐⭐ 重要
前端与交互 ~4 ⭐⭐⭐⭐ 重要
安全与权限 ~8 ⭐⭐⭐⭐⭐ 必需
运维监控 ~7 ⭐⭐⭐⭐⭐ 必需
评测与质量 ~4 ⭐⭐⭐⭐ 重要
DevOps ~5 ⭐⭐⭐⭐ 重要
合计 约 79 款 —

🎯 最小可行部署（MVP）精简清单 如果第一阶段只想快速跑通验证，可精简为 约 15～20 款核心软件：

必选项 推荐组合
操作系统 Ubuntu Server 22.04 LTS
GPU 驱动与计算 NVIDIA Driver + CUDA + cuDNN
容器化 Docker + NVIDIA Container Toolkit
大模型 Qwen2.5 或 DeepSeek-V3
推理引擎 vLLM 或 Ollama
Embedding 模型 BGE-large-zh-v1.5
向量数据库 Milvus 或 PGVector
一体化平台 Dify（自托管）
文档解析 MinerU + PaddleOCR
关系型数据库 PostgreSQL
缓存 Redis
反向代理 Nginx
监控 Prometheus + Grafana
身份认证 Keycloak
代码管理 GitLab CE