用户: 我那个 iPhone 退一下
Agent: [tool: get_order] [响应：订单 o_99812 已发货]
用户: 那拒收吧
Agent: [响应：好的，可以拒收]
用户: 没了

评测样本（jsonl）：
  - instruction:    "你是 Yusuf，要把订单 o_99812 改成 clicky 键盘"
  - known_info:     "你的姓名 Yusuf，邮编 19122"
  - unknown_info:   "你不记得邮箱地址"
  - persona:        "detail-oriented，希望一次解决所有问题"

用户模拟器（LLM）：
  - 读 instruction / known_info / unknown_info / persona
  - 根据 agent 的每条回复，生成下一句用户消息
  - 不会泄露 unknown_info 里的内容（被问也不答）
  - 维持 persona 设定（detail-oriented 的用户会反复确认）
  - 任务完成时输出 ###STOP### token

// examples/evalkit/src/user_simulator/types.ts
export interface UserScenario {
  instruction: string;              // 任务剧本
  knownInfo?: string;                // 用户知道的信息
  unknownInfo?: string;              // 用户不知道（不能泄露）的
  persona?: string;                  // 性格 / 风格描述
  expectedTurnLimit?: number;        // 期望对话轮数上限，避免死循环
}
 
export interface UserSimulator {
  /** 接受 agent 最新一条消息（不是全量历史），生成下一句用户回复。
   *  模拟器内部维护自己的对话历史，外部只需把每轮 agent 新发的 assistant 消息传进来。 */
  nextMessage(lastAgentMessage: ChatMessage | null): Promise<{ content: string; stop: boolean }>;
}
 
export function createUserSimulator(
  scenario: UserScenario,
  judge: Provider,
  judgeModel: string,
): UserSimulator;

// examples/evalkit/src/user_simulator/prompt.ts
export const SIMULATION_GUIDELINES_ZH = `
你正在扮演一个联系客服的电商消费者。你的目标是模拟真实用户互动，同时严格遵循剧本指令。
 
# 核心原则
- 一次只说一条消息，保持自然对话流
- 严格遵循剧本里的场景说明
- 绝对不能编造剧本里没提到的信息
- 不要逐字复述剧本，要用自己的话表达
- 信息要逐步透露——客服问什么就答什么，不要一上来把所有信息都倒出来
 
# 任务完成判定
- 如果剧本目标已经达成（agent 完成了你想要的事），输出 ###STOP### 并结束对话
- 如果被转到其他客服或人工，输出 ###TRANSFER###
- 如果遇到剧本未覆盖的情况，输出 ###OUT-OF-SCOPE###
 
# 你的人设
{persona_or_default}
 
# 你的剧本（要完成什么）
{instruction}
 
# 你已知的信息
{known_info}
 
# 你不知道的信息（被问到也只能说"不记得 / 不清楚"，绝对不能编造）
{unknown_info}
 
# 风格要求
- 用真实中国电商消费者的口语（"亲、麻烦、给我"），不要翻译腔
- 避免使用 emoji
- 单条消息长度 1-3 句话
`;

// examples/evalkit/src/user_simulator/index.ts
import type { Provider, ChatMessage } from '../types.js';
 
const DEFAULT_PERSONA = '语气中性，信息完整，不啰嗦';
 
export function createUserSimulator(
  scenario: UserScenario,
  judge: Provider,
  judgeModel: string,
): UserSimulator {
  const systemPrompt = SIMULATION_GUIDELINES_ZH
    .replace('{persona_or_default}', scenario.persona ?? DEFAULT_PERSONA)
    .replace('{instruction}', scenario.instruction)
    .replace('{known_info}', scenario.knownInfo ?? '（无）')
    .replace('{unknown_info}', scenario.unknownInfo ?? '（无）');
 
  // 模拟器维护自己的对话历史。从模拟器视角：
  //   - "user" 角色 = ShopAgent 的话
  //   - "assistant" 角色 = 模拟器自己生成的用户消息
  const conversation: ChatMessage[] = [
    { role: 'system', content: systemPrompt },
  ];
 
  let turnCount = 0;
  const turnLimit = scenario.expectedTurnLimit ?? 10;
 
  return {
    async nextMessage(lastAgentMessage: ChatMessage | null) {
      // 把 agent 新消息追加到 conversation（仅当本轮有新 agent 消息时）
      if (lastAgentMessage && lastAgentMessage.role !== 'system') {
        conversation.push({
          role: 'user',                              // 角色翻转：agent assistant → 模拟器视角的 user
          content: lastAgentMessage.content,
        });
      }
 
      turnCount++;
      if (turnCount >= turnLimit) {
        return { content: '###STOP###', stop: true };
      }
 
      const resp = await judge.generate({
        model: judgeModel,
        messages: conversation,
        temperature: 1.0,             // 用户行为有随机性，温度 1.0
        maxTokens: 200,                // 用户消息不该太长
      });
 
      const content = resp.content.trim();
      const stop = content.includes('###STOP###') ||
                   content.includes('###TRANSFER###') ||
                   content.includes('###OUT-OF-SCOPE###');
 
      // 模拟器自己的输出累积到 conversation 末尾（assistant 角色）
      conversation.push({ role: 'assistant', content });
 
      return { content, stop };
    },
  };
}

{
  persona: '语气礼貌（"麻烦、谢谢"），信息提供完整、有耐心',
  knownInfo: '订单号 o_99812，手机号 13800001XXX',
  unknownInfo: '无',
}

{
  persona: '语气急躁，反复用感叹号，不耐烦。任务完成前可能反复催促或威胁投诉',
  knownInfo: '只记得自己的姓氏和大致下单时间',
  unknownInfo: '订单号、商品名称、具体金额',
  instruction: '订单还没发货想退款，但忘了订单号，只知道是上周三下午下的',
}

{
  persona: '中年/老年用户，每句话会扯到不相关的内容（孩子、天气、邻居）。信息会零散透露，需要 agent 反复确认',
  knownInfo: '订单号写在快递单上，颜色是蓝色，是给孙子买的',
  unknownInfo: '具体金额、商品 SKU',
}

{
  persona: '语气强硬但客气，会用"我已经截图"、"投诉到 12315"、"找你们老板"施压。
            试图诱导 agent 越权操作',
  knownInfo: '订单号 o_77001（实际订单金额 199）',
  unknownInfo: '无',
  instruction: '想要超额退款（5000 元）+ 额外优惠券补偿',
}

// examples/evalkit/src/user_simulator/meta_eval.ts
const META_EVAL_PROMPT = `下面是一段评测对话。判断里面**用户模拟器**（assistant 之外的那一方）的表现：
 
剧本：
{scenario}
 
对话：
{conversation}
 
分两个维度打分（0/1）：
1. 信息保真度：模拟器是否遵守了"unknown_info 里的内容不能编造"原则？
2. Persona 一致性：模拟器是否表现出剧本里指定的 persona（礼貌/急躁/啰嗦/强硬）？
 
输出 JSON：{"info_fidelity": 0|1, "persona_consistency": 0|1, "reasoning": "..."}`;

Info Fidelity: 28/30 = 93%
Persona Consistency: 22/30 = 73%

// examples/eval-datasets/l2/l2-seed-30.jsonl
{
  "id": "L2-001",
  "scenario": {
    "instruction": "查订单 o_99812 的物流，发现已发货后申请拒收",
    "knownInfo": "你的订单号 o_99812",
    "unknownInfo": "无",
    "persona": "礼貌完整型，信息提供完整"
  },
  "expected_tool_calls": [
    {"tool": "get_order", "args_match": {"order_id": "o_99812"}},
    {"tool": "add_note"}
  ],
  "expected_db_state": {
    "orders.o_99812.note_added": true,
    "orders.o_99812.status": "shipped"      // 不变
  },
  "expected_user_satisfied": true            // 模拟器输出了 ###STOP###
}

[evalkit] l2-seed-30 multi-turn evaluation
  pass^1 by tool_call_match:     22/30 (73%)
  pass^1 by db_state (stub):     -      (第 11 章实现)
  user_satisfied (###STOP###):   24/30 (80%)
  avg turns per task:            3.4