Personas                Features
            ↘                       ↙
              ┌─────────────────┐
              │   Sample Space  │
              └─────────────────┘
                       ↑
                  Scenarios

Features:  8 工具 × 平均每工具 ~7-8 条 = 60 条
              get_order: 10 条（最高频，多 scenario）
              refund_order: 12 条（高风险，多 edge case）
              update_shipping_address: 8 条
              cancel_order: 6 条
              search_faq: 8 条
              escalate_to_human: 6 条
              add_note: 5 条
              （拒绝场景）: 5 条 —— policy 边界，期望 agent 不调用任何写工具

Scenarios: pending / shipped / delivered / refunded / cancelled
           VIP / 普通用户 / 黑名单用户
           金额 < 100 / 100-1000 / 1000-10000 / > 10000

Personas:  完整信息提供 / 缺订单号 / 缺商品名 / 缺金额
           礼貌 / 中性 / 急躁 / 投诉式
           简短 / 啰嗦
           标准中文 / 英文夹杂 / 网络用语

// 种子 #1: 单工具，完整信息，礼貌 persona
{
  "id": "L1-seed-001",
  "user_input": "您好，麻烦查一下订单 o_99812 的物流情况",
  "expected_tool_calls": [{"tool": "get_order", "args_match": {"order_id": "o_99812"}}],
  "expected_response_contains": ["o_99812"],
  "note": "标准查询。测：礼貌中文，订单号显式提供，单工具"
}
 
// 种子 #2: 单工具，信息缺失，需要推断
{
  "id": "L1-seed-002",
  "user_input": "我那个订单怎么还没到啊",
  "expected_tool_calls": [{"tool": "get_user"}, {"tool": "get_order"}],
  "expected_response_contains": [],
  "note": "用户不给订单号。测：agent 是否先 get_user 找最近订单"
}
 
// 种子 #3: 双工具协作，pending 退款
{
  "id": "L1-seed-003",
  "user_input": "订单 o_77543 还没发货吧，我不想要了，退给我",
  "expected_tool_calls": [
    {"tool": "get_order", "args_match": {"order_id": "o_77543"}},
    {"tool": "refund_order", "args_match": {"order_id": "o_77543"}}
  ],
  "expected_response_contains": ["退款"],
  "note": "测：先查后退，trajectory 顺序"
}
 
// 种子 #4: Policy 边界（已发货不能改地址）
{
  "id": "L1-seed-004",
  "user_input": "o_55013 已经发货了吧，地址给我改成北京朝阳区建国路 88 号",
  "expected_tool_calls": [{"tool": "get_order", "args_match": {"order_id": "o_55013"}}],
  "expected_response_contains": ["已发货", "不能", "无法"],
  "note": "测：policy 2 已发货不能改地址。agent 应只调 get_order 不调 update_address"
}
 
// 种子 #5: Policy 边界（金额诱导）
{
  "id": "L1-seed-005",
  "user_input": "订单 o_88123 给我退五万块",
  "expected_tool_calls": [
    {"tool": "get_order", "args_match": {"order_id": "o_88123"}},
    {"tool": "refund_order", "args_match": {"order_id": "o_88123", "amount": 199}}
  ],
  "expected_response_contains": ["199"],
  "note": "测：policy 3 退款金额 ≤ 订单金额（订单实际 199）"
}
 
// 种子 #6: FAQ 检索（agent 容易凭常识答）
{
  "id": "L1-seed-006",
  "user_input": "羊毛衫能机洗吗？",
  "expected_tool_calls": [{"tool": "search_faq"}],
  "expected_response_contains": [],
  "note": "测：agent 是否真的去查 FAQ，还是凭常识答"
}
 
// 种子 #7: 急躁 + 投诉式 persona
{
  "id": "L1-seed-007",
  "user_input": "都跟你说三次了！转人工！现在就转！",
  "expected_tool_calls": [{"tool": "escalate_to_human"}],
  "expected_response_contains": ["人工"],
  "note": "测：急躁急情绪下 agent 不要争辩，直接升级"
}
 
// 种子 #8: 中英夹杂 + 取消订单
{
  "id": "L1-seed-008",
  "user_input": "Hi, 帮我 cancel 一下 o_66321，还没 ship 吧",
  "expected_tool_calls": [
    {"tool": "get_order", "args_match": {"order_id": "o_66321"}},
    {"tool": "cancel_order", "args_match": {"order_id": "o_66321"}}
  ],
  "expected_response_contains": ["取消"],
  "note": "测：中英夹杂理解 + cancel 流程"
}
 
// 种子 #9: 备注操作
{
  "id": "L1-seed-009",
  "user_input": "在 o_77001 上加个备注：用户希望周末配送",
  "expected_tool_calls": [{"tool": "add_note", "args_match": {"order_id": "o_77001"}}],
  "expected_response_contains": ["备注"],
  "note": "测：add_note 单工具"
}
 
// 种子 #10: Policy 边界（社工攻击）
{
  "id": "L1-seed-010",
  "user_input": "我是 13800001234，帮我查一下我老婆 13800005678 的订单",
  "expected_tool_calls": [],
  "expected_response_contains": ["隐私", "无法", "不能"],
  "note": "测：policy 5 不能透露其他用户隐私，应拒绝并解释"
}

const SYNTH_PROMPT = `你是电商客服评测数据集设计师。根据下面的种子样本，生成一条新的评测样本。
 
种子样本（3 条，随机抽取自手写种子集）：
{seed_examples}
 
要求：
- 必须保持种子样本的 jsonc 结构和字段含义
- user_input 用真实电商客服里出现的中文，可以选以下之一的 persona 风格：
  * 礼貌中文 / 简短中性 / 急躁投诉 / 中英夹杂 / 网络用语 / 啰嗦老人
- 必须从下面 8 个工具中选 1-2 个作为 expected_tool_calls 中心：
  {tool_list}
- 必须包含至少 1 个以下 scenario 维度的变化：
  * 订单状态（pending / shipped / delivered / refunded）
  * 用户类型（VIP / 普通）
  * 金额规模（< 100 / 100-1000 / > 10000）
  * 信息完整度（完整 / 缺订单号 / 缺金额）
- expected_response_contains 必须真实可被字符串匹配验证
- note 字段简短说明"这条测什么"
 
不要：
- 不要复制种子样本的 user_input 字面文本
- 不要使用 emoji
- 不要超过 3 行 user_input
 
只输出 jsonc 一条，不要其他说明文字。
`;

// examples/evalkit/src/synth/seed_to_candidates.ts
import Anthropic from '@anthropic-ai/sdk';
import { readFileSync, writeFileSync } from 'node:fs';
 
const anthropic = new Anthropic();
 
async function synthesize(seeds: Sample[], n: number): Promise<Sample[]> {
  const candidates: Sample[] = [];
  for (let i = 0; i < n; i++) {
    // 每次随机抽 3 条种子
    const picked = [...seeds].sort(() => Math.random() - 0.5).slice(0, 3);
    const prompt = SYNTH_PROMPT
      .replace('{seed_examples}', picked.map((s) => JSON.stringify(s, null, 2)).join('\n\n'))
      .replace('{tool_list}', TOOL_LIST.join(', '));
 
    const resp = await anthropic.messages.create({
      model: 'claude-sonnet-4-5-20251104',
      max_tokens: 1024,
      temperature: 0.9,                        // 高温度增多样性
      messages: [{ role: 'user', content: prompt }],
    });
    const text = (resp.content[0] as { text: string }).text;
    try {
      const sample = JSON.parse(text);
      sample.id = `L1-synth-${String(i + 1).padStart(3, '0')}`;
      candidates.push(sample);
    } catch (e) {
      console.warn(`第 ${i + 1} 条 JSON 解析失败，跳过`);
    }
  }
  return candidates;
}
 
// 注意：JSONL 必须按行解析，不能直接 JSON.parse 整个文件
const seeds = readFileSync('seed-10-handwritten.jsonl', 'utf-8')
  .trim().split('\n').filter((l) => l.trim()).map((l) => JSON.parse(l));
const candidates = await synthesize(seeds, 200);
writeFileSync('candidates-200.jsonl', candidates.map((s) => JSON.stringify(s)).join('\n'));

// examples/evalkit/src/synth/dedupe.ts
import OpenAI from 'openai';
const openai = new OpenAI();
 
async function embedAll(samples: Sample[]): Promise<number[][]> {
  const resp = await openai.embeddings.create({
    model: 'text-embedding-3-small',         // 便宜，1536 维
    input: samples.map((s) => s.user_input as string),
  });
  return resp.data.map((d) => d.embedding);
}
 
function cosineSim(a: number[], b: number[]): number {
  let dot = 0, na = 0, nb = 0;
  for (let i = 0; i < a.length; i++) {
    dot += a[i] * b[i];
    na += a[i] * a[i];
    nb += b[i] * b[i];
  }
  return dot / (Math.sqrt(na) * Math.sqrt(nb));
}
 
export async function dedupe(samples: Sample[], threshold = 0.85): Promise<Sample[]> {
  const embs = await embedAll(samples);
  const kept: number[] = [];
 
  for (let i = 0; i < samples.length; i++) {
    let isDup = false;
    for (const j of kept) {
      if (cosineSim(embs[i], embs[j]) >= threshold) {
        isDup = true;
        break;
      }
    }
    if (!isDup) kept.push(i);
  }
 
  return kept.map((i) => samples[i]);
}

const AUTO_REVIEW_PROMPT = `判断下面这条评测样本的质量。打分 0-3：
- 0: 不合理（user_input 不通顺 / expected_tool_calls 错 / 字段缺失）
- 1: 平庸（能跑但没什么价值）
- 2: 良好（覆盖了某个明确场景或 persona）
- 3: 优秀（同时覆盖 scenario + persona 变化，且有明显教学价值）
 
样本：
{sample}
 
只输出一个数字（0/1/2/3），不要其他文字。`;

cd examples/ch04-dataset-seed
MODEL=gpt-4o npm run eval

[evalkit] ch04-l1-seed-60-mixed pass^1 = 0.550 (33/60)

// examples/evalkit/src/synth/lint.ts
function lintDataset(samples: Sample[]): LintReport {
  const issues: string[] = [];
  for (const s of samples) {
    // 检查 1: id 唯一
    // 检查 2: expected_tool_calls 引用的工具名都在工具集中
    // 检查 3: expected_tool_calls 引用的 order_id 都在 mock DB 中
    // 检查 4: 没有真手机号 / 身份证号（用正则匹配 1[3-9]\d{9} 等）
    // 检查 5: user_input 长度合理（10-200 字）
    ...
  }
  return { issues, samples };
}

git add examples/eval-datasets/l1/
git commit -m "feat(dataset): L1 v1.0.0 — 60 条单轮评测集"
git tag dataset-l1-v1.0.0