WThinking

Appearance

第2章 高级提示词工程 + AI 产品评测 ​

提示词写不好，模型再强也白搭。我见过太多产品经理直接把用户问题丢给大模型，然后抱怨"AI不行"。其实不是AI不行，是你没给AI足够的上下文和指令。

我是怕浪猫，这章讲提示词工程和AI产品评测——驾驭大模型的两项核心能力。

2.1 提示词工程：从基础到进阶 ​

基础提示词工程：概念与3大框架 ​

提示词（Prompt）就是你给大模型的输入。好的提示词能让模型输出质量提升数倍，差的提示词让模型输出随机且不可控。

提示词工程不是"写一段话"，而是一种结构化的思维方式。3大基础框架：

框架一：CRISPE

元素含义示例
C - Capacity角色能力你是一位资深市场分析师
R - Request具体请求分析以下产品的市场定位
I - Input输入信息产品名称：XXX，目标用户：XXX
S - Steps执行步骤1.分析竞品 2.评估差异化 3.给出建议
P - Presentation输出格式用表格呈现，附总结
E - Example示例参考以下格式...

框架二：CO-STAR

元素含义示例
C - Context背景上下文我们是一家B2B SaaS公司
O - Objective目标撰写一封客户开发邮件
S - Style风格专业但不生硬
T - Tone语气自信、尊重
A - Audience受众企业CTO
R - Response响应格式邮件正文，不超过200字

框架三：RTF（最简洁）

元素含义示例
R - Role角色你是客服专家
T - Task任务回答用户关于退货的问题
F - Format格式用3句话以内回答，附来源

实际使用中，CRISPE最全面，适合复杂任务；CO-STAR适合内容创作类任务；RTF最简洁，适合快速原型。建议从RTF开始，逐步过渡到CRISPE。

提示词不是"写一段话"，是"给模型一张完整的任务说明书"。说明书越清楚，结果越可控。

思维链（CoT）与思维树（ToT） ​

思维链（Chain-of-Thought）

让模型"一步一步想"，而不是直接给答案。这是提升模型推理能力最简单有效的方法。

不加思维链：

问：一个商店有23个苹果，卖了15个，又进货了8个，现在有多少个？
答：16个

加思维链：

问：一个商店有23个苹果，卖了15个，又进货了8个，现在有多少个？请一步一步思考。
答：商店原有23个苹果。卖出15个后，剩余23-15=8个。又进货8个，现在有8+8=16个。答案是16个。

思维链的3种使用方式：

方式做法适用场景
Zero-shot CoT加"请一步一步思考"简单推理
Few-shot CoT给几个带推理过程的例子特定类型推理
Auto CoT让模型自己生成推理链未知推理类型

思维树（Tree-of-Thought）

思维链是线性的——一条路走到底。思维树是树状的——同时探索多条路径，选择最优解。

思维树的核心思路：

  1. 生成多个可能的下一步（分支）
  2. 评估每个分支的价值
  3. 选择最有前途的分支继续
  4. 重复直到找到满意答案

思维树适合需要"搜索最优解"的任务，比如策略规划、创意生成。缺点是token消耗大，成本高。

自洽性推理（Self-Consistency） ​

自洽性推理是思维链的增强版：对同一个问题生成多个思维链，然后选择最一致的答案。

具体步骤：

  1. 对同一问题生成N条不同的思维链（设置较高的Temperature）
  2. 统计每条思维链的最终答案
  3. 选择出现次数最多的答案作为最终答案

为什么有效？因为正确的推理路径更有可能收敛到同一个答案，而错误的推理路径往往是随机的、发散的。通过"投票"可以过滤掉随机错误。

实际应用建议：

  • N取5-10即可，更多边际收益递减
  • 适合数学推理、逻辑判断等有明确答案的任务
  • 不适合创意类任务（创意没有标准答案）

少样本提示（Few-Shot） ​

在提示词中给模型几个示例，让它学会你期望的输入输出模式。

请根据产品名称生成一句话描述。

示例1：
输入：Notion
输出：All-in-one workspace for notes, docs, and projects

示例2：
输入：Figma
输出：Collaborative interface design tool for teams

示例3：
输入：Slack
输出：Messaging platform for team communication

现在请处理：
输入：{你的产品名}
输出：

Few-Shot的3个关键要点：

  1. 示例质量比数量重要 3个高质量示例比10个平庸示例效果好
  2. 示例要有多样性 覆盖不同类型的输入，避免模型只学会一种模式
  3. 示例格式要一致 输入输出的格式统一，模型才能稳定遵循

系统提示词与用户提示词 ​

大模型API通常有两种提示词：

系统提示词（System Prompt） 定义AI的角色、行为规则、约束条件。在会话中保持不变。

你是一个专业的法律咨询助手。你的职责是：
1. 基于中国法律法规回答用户问题
2. 明确标注法律依据（具体法条编号）
3. 不确定的内容要标注"仅供参考，建议咨询专业律师"
4. 不提供具体的法律建议，只提供法律信息
5. 遇到超出范围的问题，建议用户咨询专业律师

用户提示词（User Prompt） 用户的具体问题或请求。每次对话可能不同。

我和房东签了一年的租房合同，现在住了3个月想提前退租，房东说押金不退。这合法吗？

产品设计中，系统提示词是你能控制的——你需要精心设计。用户提示词是不可控的——你需要设计产品交互来引导用户给出更好的提示词。

系统提示词是AI产品的"基因"，决定了AI的行为边界和风格。用户提示词是"环境"，影响AI的具体表现。基因比环境更重要。

温度（Temperature）与Top P采样 ​

这两个参数控制模型输出的随机性。

Temperature（温度）

  • 0.0：总是选择概率最高的token，输出最确定
  • 0.7：适中的随机性，适合大多数场景
  • 1.0：较高的随机性，适合创意类任务
  • 1.5+：非常随机，输出可能不连贯

Top P（核采样）

  • 0.1：只从概率最高的10%的token中选择
  • 0.9：从概率最高的90%的token中选择
  • 1.0：从所有token中选择

实际建议：

场景TemperatureTop P理由
客服问答0.1-0.30.9需要准确一致的回答
内容创作0.7-0.90.95需要一定的创造性
代码生成0.0-0.20.9需要精确的语法
头脑风暴1.0-1.21.0需要最大的多样性

2.2 提示词实战 ​

实战：人设打造 ​

让AI扮演特定角色，是最常见也最有效的提示词技巧之一。

好的角色提示词模板：

你是{角色名称}，一位{角色背景描述}。

你的核心特征：
- 说话风格：{具体描述}
- 专业领域：{具体描述}
- 价值观倾向：{具体描述}

你的行为规则：
1. {规则1}
2. {规则2}
3. {规则3}

你绝对不会：
1. {禁止1}
2. {禁止2}

当遇到{特定情况}时，你会{具体行为}。

实际案例——电商客服人设：

你是小美，一位在XX电商工作了3年的客服专员。

你的核心特征：
- 说话风格：亲切自然，像朋友一样聊天，不用客服腔
- 专业领域：退货政策、物流查询、商品咨询
- 价值观倾向：站在用户角度思考，能帮就帮

你的行为规则：
1. 先确认理解用户的问题，再给解决方案
2. 能在线解决的就在线解决，不给用户增加操作步骤
3. 涉及金额的问题，主动帮用户算清楚

你绝对不会：
1. 用"尊敬的客户"这种说法
2. 让用户自己去查政策
3. 在未确认的情况下承诺具体时间

当遇到无法解决的问题时，你会说："这个问题我需要帮你转接专员，稍等一下哈"

人设打造的核心原则：具体胜过抽象。"亲切自然"不如"像朋友一样聊天"，"专业"不如"在XX电商工作了3年"。

实战：项目风险评估 ​

用提示词做结构化的风险评估：

你是一位项目管理风险评估专家。请对以下项目进行风险评估。

项目信息：
- 项目名称：{名称}
- 项目周期：{周期}
- 团队规模：{人数}
- 技术栈：{技术栈}
- 核心功能：{功能列表}

请从以下维度评估风险：
1. 技术风险（技术复杂度、技术成熟度、技术依赖）
2. 进度风险（工期合理性、里程碑设置、并行任务冲突）
3. 资源风险（人力、算力、数据）
4. 外部风险（政策、供应商、竞品）

输出格式：
| 风险维度 | 风险项 | 严重程度(1-5) | 可能性(1-5) | 风险分值 | 缓解措施 |
|---------|--------|-------------|-----------|---------|---------|

最后给出总体风险评级和前3个最需要关注的风险。

实战：用AI做商业决策 ​

你是一位商业战略顾问。请帮助分析以下商业决策。

决策背景：
{背景描述}

可选方案：
A. {方案A描述}
B. {方案B描述}

请从以下角度分析：
1. 市场机会（市场规模、增长率、竞争格局）
2. 资源需求（资金、人力、时间）
3. 风险评估（最大风险是什么，概率多大）
4. 预期收益（短期3个月、中期1年、长期3年）
5. 退出策略（如果失败，如何止损）

最终给出你的建议和理由。用数据和逻辑支撑，不要空洞的结论。

实战：风格化新闻稿 ​

你是一位资深新闻稿撰写人。请撰写一篇新闻稿。

要求：
- 风格：{科技媒体/官方通稿/社交媒体/行业分析}
- 字数：{300-500字}
- 核心信息：{要点1、要点2、要点3}
- 受众：{目标读者}
- 语气：{正式/轻松/专业}

新闻稿结构：
1. 标题（不超过20字，有信息量）
2. 导语（一句话说清楚发生了什么）
3. 正文（展开核心信息）
4. 引用（模拟CEO或负责人的发言）
5. 关于我们（一句话公司介绍）

禁止：
- 不使用"革命性""颠覆性"等空洞词汇
- 不使用被动语态
- 不超过3个形容词

提示词工程的核心不是技巧，是思维方式：把"你想要什么"翻译成"模型能理解什么"。越具体，越可执行，效果越好。

2.3 AI 产品评测体系 ​

为什么要学AI产品评测 ​

AI产品的质量和传统产品完全不同。传统产品测功能——按钮能不能点，页面能不能加载。AI产品测效果——回答准不准，输出好不好。

不学评测，你就无法：

  • 判断模型升级是否真的改善了体验
  • 发现产品在哪些场景下表现差
  • 向团队和老板量化展示产品进步
  • 做出数据驱动的产品决策

不评测的AI产品，就像不开仪表盘开车——你不知道自己在哪，也不知道该往哪走。

过拟合与欠拟合 ​

这两个概念来自机器学习，但对AI产品评测同样重要。

过拟合（Overfitting） 模型在训练数据上表现很好，但在新数据上表现差。类比到AI产品：你的提示词在你的测试案例上效果很好，但用户实际使用时效果差。

常见原因：提示词太针对特定案例，缺乏泛化能力。

欠拟合（Underfitting） 模型在训练数据和新数据上表现都不好。类比到AI产品：你的提示词太笼统，模型没有被有效引导。

常见原因：提示词太模糊，没有给模型足够的指令和约束。

问题表现原因解决方案
过拟合测试案例好，真实用户差提示词太具体增加测试案例多样性
欠拟合测试案例和真实用户都差提示词太模糊增加具体的规则和示例

数据漂移（Data Drift） ​

数据漂移是指模型输入数据的分布随时间发生变化，导致模型表现下降。

在AI产品中的典型表现：

  • 用户开始问之前没问过的问题（用户行为变化）
  • 知识库的内容过时（业务数据变化）
  • 新的对抗性攻击方式出现（恶意用户变化）

数据漂移的检测方法：

  1. 监控回答质量 定期抽样检查AI的回答质量
  2. 监控用户反馈 跟踪负面反馈比例的变化
  3. 监控输入分布 跟踪用户问题的类型分布是否变化
  4. A/B测试 定期用新模型和旧模型对比

分类型AI产品评测核心指标 ​

分类任务的评测指标

指标含义计算方式适用场景
准确率(Accuracy)正确预测的比例(TP+TN)/(TP+TN+FP+FN)类别均衡
精确率(Precision)预测为正中真正为正的比例TP/(TP+FP)误报代价高
召回率(Recall)真正为正中被预测为正的比例TP/(TP+FN)漏报代价高
F1 Score精确率和召回率的调和平均2PR/(P+R)类别不均衡

实际案例：AI客服的意图分类

假设你的AI客服需要识别用户意图（退货咨询、物流查询、商品咨询、投诉建议），评测方法：

  1. 准备测试集：每个意图类别50-100个真实用户问题
  2. 运行模型，记录预测结果
  3. 计算每个类别的精确率和召回率
  4. 重点关注召回率——漏识别比误识别更严重（用户说了要退货，AI没识别出来）

生成式任务的评测方法 ​

生成式任务（对话、写作、翻译）比分类任务难评测，因为没有标准答案。

方法一：人工评测

最直接但最贵。让评测人员对AI输出打分，常用维度：

维度评分标准(1-5)说明
准确性1=完全错误，5=完全正确信息是否准确
相关性1=完全无关，5=高度相关是否回答了问题
完整性1=严重缺失，5=完整全面是否覆盖了所有要点
流畅性1=难以理解，5=自然流畅语言表达是否通顺
安全性1=有害内容，5=完全安全是否包含不当内容

方法二：LLM-as-Judge

用强模型（如GPT-4）来评判弱模型的输出。成本低、速度快，但需要精心设计评判提示词。

你是一位严格的内容质量评审专家。请评估以下AI回复的质量。

用户问题：{用户问题}
AI回复：{AI回复}
参考答案：{参考答案}（如有）

评分维度：
1. 准确性（1-5）：信息是否准确，有无幻觉
2. 相关性（1-5）：是否直接回答了用户问题
3. 完整性（1-5）：是否覆盖了所有关键信息
4. 安全性（1-5）：是否包含不当或有害内容

输出格式：
| 维度 | 评分 | 理由 |
|------|------|------|

总体评价：{优秀/良好/一般/差}
关键问题：{列出主要问题}

方法三：自动化指标

指标适用场景说明
BLEU翻译、摘要与参考答案的n-gram重叠度
ROUGE摘要与参考答案的重叠度
BERTScore通用语义相似度
困惑度(PPL)语言模型模型对文本的"惊讶程度"

注意：自动化指标只能辅助，不能替代人工评测。BLEU分数高不代表回复质量好，因为模型可能用不同的表达方式给出同样正确的答案。

评测报告撰写指南 ​

一份完整的AI产品评测报告应包含：

  1. 评测背景 产品版本、评测时间、评测目的
  2. 评测方法 数据集、评测指标、评测流程
  3. 评测结果 各指标的数值和对比
  4. Badcase分析 典型错误案例和原因分析
  5. 改进建议 针对性的优化方向
  6. 风险提示 当前版本的已知问题和影响范围

实战：AI产品评测案例 ​

以一个AI客服产品为例，完整走一遍评测流程。

步骤一：定义评测范围

  • 产品：电商AI客服
  • 版本：v2.1
  • 评测范围：退货咨询、物流查询、商品咨询三大场景

步骤二：准备测试集

  • 每个场景50个真实用户问题（从历史对话中抽取）
  • 每个问题标注标准答案和预期意图

步骤三：运行评测

python
# 简单的评测脚本
import json
from openai import OpenAI

client = OpenAI()

def evaluate_qa(test_cases):
    results = []
    for case in test_cases:
        response = client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[
                {"role": "system", "content": SYSTEM_PROMPT},
                {"role": "user", "content": case["question"]}
            ]
        )
        answer = response.choices[0].message.content
        
        # LLM-as-Judge
        judge_result = client.chat.completions.create(
            model="gpt-4o",
            messages=[{
                "role": "user",
                "content": f"""评估以下AI回复的质量。
用户问题：{case['question']}
AI回复：{answer}
参考答案：{case['reference']}
评分(1-5)：准确性、相关性、完整性"""
            }]
        )
        
        results.append({
            "question": case["question"],
            "answer": answer,
            "reference": case["reference"],
            "judge_score": judge_result.choices[0].message.content
        })
    
    return results

步骤四：分析结果

场景样本数准确率相关性完整性Badcase数
退货咨询504.24.53.86
物流查询503.54.03.212
商品咨询504.04.34.15

步骤五：Badcase分析和改进

物流查询场景得分最低，分析badcase发现主要问题：

  • 40%的badcase是因为知识库缺少特定物流公司的信息
  • 30%的badcase是因为用户的问题表述和知识库的表述差异大
  • 30%的badcase是因为模型编造了不存在的物流政策

改进方向：

  1. 补充缺失的物流公司信息到知识库
  2. 增加Query优化步骤，将用户口语化表述转为知识库表述
  3. 在提示词中强调"不编造，不确定就转人工"

本章小结

主题核心要点
提示词框架CRISPE/CO-STAR/RTF三套框架
思维链一步一步想，最简单有效的推理增强
自洽性多路径推理+投票，过滤随机错误
Few-Shot3个高质量示例比10个平庸示例好
Temperature客服0.1-0.3，创作0.7-0.9，代码0-0.2
人工评测5维度打分，最直接但最贵
LLM-as-Judge用强模型评弱模型，性价比高
评测报告背景+方法+结果+Badcase+改进+风险

觉得有用？收藏起来，下次直接照抄。

你做AI产品评测时用什么方法？评论区聊聊。

关注怕浪猫，下期我们讲RAG与知识库——让大模型真正懂你的业务。

系列进度 2/13

下章预告： 第3章RAG与知识库，从知识分段到检索优化全链路，手把手教你打造让大模型更懂业务的RAG系统。

热爱生活，喜好美食，追求未来！

Copyright © 2026-present 焕然一新组合出版