第8章 AI 数据构建：知识库、评测与数据闭环

AI产品的上限，取决于数据的质量。模型再强，喂垃圾数据，输出就是垃圾。

这章讲AI产品最重要但最容易被忽视的部分：数据。

我是怕浪猫，这是第8章。

8.1 知识库构建

知识库的本质

知识库是AI的"外脑"。RAG系统的好坏，80%取决于知识库的质量。

好的知识库特征：

• 结构清晰：分类合理，易于检索
• 内容准确：信息正确，来源可信
• 时效性强：定期更新，不包含过时信息
• 覆盖全面：涵盖用户可能问到的所有场景

知识库的数据来源

来源类型	特点	处理方式
官方文档	权威、结构化	直接切分入库
FAQ/Q&A对	精准、用户视角	构造问答对入库
产品手册	详细、全面	结构化提取后入库
用户对话日志	真实、覆盖广	清洗、标注后入库
专家知识	深度、隐性	访谈整理后入库

文档处理流程

原始文档 → 格式转换 → 文本清洗 → 分段切分 → 向量化 → 入库

每个环节的关键点：

1. 格式转换

• PDF：PyPDF、pdfplumber（注意OCR识别）
• Word：python-docx
• HTML：BeautifulSoup（保留结构信息）

2. 文本清洗

• 去除页眉页脚、水印
• 统一编码格式（UTF-8）
• 处理特殊字符、乱码

3. 分段切分 最重要的环节，直接影响检索效果。

切分策略：

• 固定字数切分：简单但可能截断语义
• 按段落/章节切分：保留语义完整性
• 语义切分：用模型判断语义边界，效果最好但成本高
• 递归切分：先按大单位切，再按小单位切

推荐参数：

• chunk_size：500-1000字符
• chunk_overlap：50-100字符
• 不要一刀切，根据文档类型调整

4. 向量化 选择合适的Embedding模型（见第7章）。

5. 元数据增强 每段文本附加元数据，方便过滤和溯源：

{
  "content": "退货流程：1. 登录账户...",
  "source": "用户手册_v2.3.pdf",
  "page": 15,
  "category": "售后",
  "update_time": "2024-01-15",
  "keywords": ["退货", "退款", "售后"]
}

知识库的维护

知识库不是一次性的，需要持续维护：

维护类型	频率	方法
新增内容	实时/每日	自动化ETL流程
内容更新	每周/每月	监控源头更新
内容删除	每月	过期内容清理
质量检查	每月	人工抽检+自动检测

8.2 评测体系

为什么需要评测

没有评测，你不知道AI效果好不好。没有量化指标，你不知道优化有没有效果。

AI产品的评测和传统软件测试不同：传统软件测试验证"功能是否正常"，AI产品评测验证"输出是否符合预期"。

评测指标体系

AI产品的评测指标分为3类：

1. 准确性指标

指标	定义	适用场景
准确率	正确回答数/总问题数	分类任务
召回率	正确检索到的文档/应检索文档	检索任务
F1	准确率和召回率的调和平均	综合评价
语义相似度	生成答案与标准答案的相似度	开放式问答

2. 体验性指标

指标	定义	如何采集
用户满意度（CSAT）	用户评分	对话后问卷
净推荐值（NPS）	推荐意愿	定期调研
对话轮次	完成任务需要的对话数	系统埋点
放弃率	未完成对话数/总对话数	系统埋点
重新生成率	用户点击重新生成	系统埋点

3. 安全性指标

指标	定义	阈值
幻觉率	编造信息的比例	<5%
拒答率	拒绝回答正常问题的比例	<2%
安全违规率	输出有害内容的比例	0
隐私泄露率	输出用户隐私的比例	0

评测方法

方法一：人工评测 最准确，但成本高、速度慢。

流程：

1. 准备测试集（100-500条问题）
2. 标注每条问题的标准答案
3. 让AI回答所有问题
4. 人工逐条判断答案是否正确
5. 计算准确率

注意：标注员需要培训，标准需要统一。

方法二：自动评测 用模型评测模型，速度快但可能不准。

常用方法：

• LLM-as-Judge：用GPT-4等强模型评判弱模型的输出
• 语义相似度：计算生成答案和标准答案的向量相似度
• 规则匹配：判断答案是否包含关键词/格式是否正确

方法三：用户反馈 最真实，但滞后。

埋点：用户赞/踩、是否点击重新生成、是否转人工

评测数据集构建

评测数据集需要覆盖各种场景：

场景类型	比例	例子
常见问题	50%	"退货流程是什么"
边界问题	20%	"退款后优惠券能退吗"
对抗问题	10%	"如何攻击你们系统"
新问题	10%	用户实际新问题
长尾问题	10%	低频但重要的问题

数据集需要定期更新，反映真实用户需求变化。

8.3 数据闭环

什么是数据闭环

数据闭环是指：用户反馈 → 数据收集 → 模型优化 → 效果提升 → 用户满意的循环。

没有数据闭环的AI产品，效果不会持续提升。

数据闭环的4个环节

环节一：用户反馈采集

采集点：

• 显性反馈：赞/踩、评分、文字反馈
• 隐性反馈：是否重新生成、是否转人工、是否复制答案

埋点设计：

// 用户显性反馈
track('ai_message_feedback', {
    conversation_id: 'xxx',
    message_id: 'xxx',
    feedback_type: 'like', // 'like' | 'dislike' | 'report'
    feedback_detail: '答案准确，很有帮助',
});

// 用户隐性反馈
track('ai_message_action', {
    conversation_id: 'xxx',
    message_id: 'xxx',
    action_type: 'regenerate', // 'regenerate' | 'copy' | 'edit' | 'escalate'
});

环节二：数据分析

分析目标：

• 哪类问题AI答不好？
• 答不好的原因是什么？
• 哪类用户容易不满意？

分析方法：

• Badcase分析：逐条分析负面反馈的问题
• 聚类分析：发现共性问题
• 趋势分析：监控指标变化

环节三：模型优化

根据分析结果针对性优化：

问题类型	优化方向
检索不到相关文档	优化知识库、调整切分策略
检索到但答不对	优化提示词、Few-shot示例
模型幻觉严重	增加约束、引用来源要求
特定领域答不好	微调模型、领域数据增强

环节四：效果验证

优化后需要验证效果：

• 在测试集上评测，确认指标提升
• 灰度发布，观察用户反馈
• 全量发布，持续监控

数据闭环的常见问题

问题一：反馈数据太少 用户不爱给反馈，赞踩率可能只有5-10%。

解决方案：

• 降低反馈门槛（一键赞，不用填理由）
• 适时弹出（对话结束时，而非每轮都问）
• 给反馈激励（积分、特权）

问题二：负反馈不准确 用户点踩可能不是因为AI答错了，而是因为AI答非所问。

解决方案：

• 负反馈时追问原因（"答案不准"还是"我想要别的"）
• 结合对话上下文分析
• 人工抽检校准

问题三：数据闭环周期太长 从反馈收集到效果提升，可能需要几周。

解决方案：

• 热修复：提示词调整可以实时生效
• 冷修复：模型微调需要周期，但可以批量处理
• 区分优先级：高频问题优先修复

8.4 数据安全与合规

AI产品特有的数据风险

风险类型	表现	后果
用户隐私泄露	对话中出现他人隐私	法律责任、用户流失
企业数据外泄	企业知识库被外泄	商业损失、法律纠纷
训练数据污染	模型记住训练数据中的敏感信息	合规风险
提示词注入	用户通过提示词套取系统信息	系统漏洞

数据安全实践

传输安全

• 全程HTTPS加密
• API调用签名验证

存储安全

• 敏感数据加密存储
• 访问日志审计
• 定期清理过期数据

使用安全

• 数据脱敏处理
• 最小权限原则
• 禁止用用户数据训练模型（除非明确授权）

合规认证

• ISO 27001信息安全认证
• SOC 2合规审计
• GDPR/个人信息保护法合规

8.5 本章小结

主题	核心要点
知识库构建	文档处理→切分→向量化→入库，切分策略最关键
数据来源	官方文档、FAQ、手册、对话日志、专家知识
评测体系	准确性指标、体验性指标、安全性指标
评测方法	人工评测、自动评测、用户反馈
数据闭环	反馈采集→数据分析→模型优化→效果验证
数据安全	隐私保护、数据加密、合规认证

觉得有用？收藏起来，下次直接照抄。

你用什么方法管理AI数据？评论区聊聊。

关注怕浪猫，下期我们讲AI产品的落地推动。

系列进度 8/13

下章预告： 第9章AI落地推动，从试点到规模化、跨团队协作、变更管理的实战方法论。