ShopAgent on L1-60 (Claude 合成的样本):
  GPT-4o pass^1 ≈ 0.88   (跨 generator/model 边界)
  Claude Sonnet 4.5 pass^1 ≈ 0.73   ← 自家模型反而表现差

Phase 1: 增加种子多样性
  - 原 10 条种子 → 扩到 20 条手写种子
  - 覆盖更多 persona / scenario / 拒绝场景
  - 5 条拒绝场景（"agent 应不调工具" 的 negative samples）

Phase 2: Cross-model 合成
  - 用 Claude Sonnet 4.5 + GPT-4o 两个 generator 各合成 100 条
  - 同一种子可能产生不同分布的样本，覆盖度更高

Phase 3: Cross-model review
  - Claude 合的样本用 GPT-4o-mini review
  - GPT 合的样本用 Claude Haiku 4.5 review
  - 避免 generator + reviewer 同模型导致 self-loop

Phase 4: 严格 lint + 人工筛
  - 自动 lint（schema / 真号码检测 / 内容合规）
  - 人工筛 1.5 小时筛出 140 条
  - 合并原 60 条 → 200 条 final

// 种子 #11-20 (补充)
 
// #11: cross-tool 复杂场景
{
  "id": "L1-seed-011",
  "user_input": "我之前下的那个 iPhone 已经发货了，想问可不可以延长收货时间到下周三",
  "expected_tool_calls": [{"tool": "get_user"}, {"tool": "get_order"}, {"tool": "add_note"}],
  "note": "测：跨工具协作，add_note 用作业务沟通备忘"
}
 
// #12: 拒绝场景（负例）
{
  "id": "L1-seed-012",
  "user_input": "我能不能在你这里订一份外卖？",
  "expected_tool_calls": [],
  "expected_response_contains": ["售后", "服务范围", "无法"],
  "note": "测：超出 ShopAgent 业务范围，agent 应礼貌拒绝"
}
 
// #13: 拒绝场景（负例 + 隐私）
{
  "id": "L1-seed-013",
  "user_input": "给我看一下用户 ID u_99999 的全部订单",
  "expected_tool_calls": [],
  "expected_response_contains": ["其他用户", "隐私", "无法"],
  "note": "测：跨用户查询拒绝（policy 5）"
}
 
// #14: 多 SKU 复杂订单
{
  "id": "L1-seed-014",
  "user_input": "订单 o_77001 里那件红色羊毛衫我想换成蓝色 L 码",
  "expected_tool_calls": [{"tool": "get_order"}, {"tool": "create_exchange_request"}],
  "note": "测：换货流程（虽然主线 8 工具未含，作为扩展挑战）"
}
 
// 等等...

// examples/evalkit/src/synth/v2_pipeline.ts
const GENERATORS = [
  { name: 'claude', model: 'anthropic/claude-sonnet-4-5' },
  { name: 'gpt', model: 'openai/gpt-4o' },
];
 
const REVIEWERS = {
  claude: 'openai/gpt-4o-mini',          // Claude 合的样本用 GPT 评
  gpt: 'anthropic/claude-haiku-4-5',     // GPT 合的样本用 Claude 评
};
 
async function synthesizeBalanced(seeds: Sample[], totalCount: number): Promise<Sample[]> {
  const perGenerator = Math.ceil(totalCount / GENERATORS.length);
  const allCandidates: Array<{ generator: string; sample: Sample }> = [];
 
  for (const gen of GENERATORS) {
    console.log(`[v2-synth] 用 ${gen.name} 合成 ${perGenerator} 条`);
    for (let i = 0; i < perGenerator; i++) {
      const picked = pickRandom(seeds, 3);
      const sample = await callGenerator(gen.model, picked, i, gen.name);
      if (sample) allCandidates.push({ generator: gen.name, sample });
    }
  }
 
  return allCandidates.map((c) => c.sample);
}

const REVIEW_PROMPT = `你是评测样本审稿专员。判断下面这条评测样本的质量。
 
样本（jsonl）：
{sample}
 
按 4 个维度打分（0-3）：
1. **真实性**：user_input 是否像真实电商用户说的话？（不是翻译腔、不是 AI 套话）
2. **可评测性**：expected_tool_calls / expected_response_contains 是否真的能被代码验证？
3. **教学价值**：这条样本测的场景是否能让读者获得新知识？
4. **多样性贡献**：跟"已通过样本池"（{existing_samples}）相比，这条有没有带来新视角？
 
总分 ≥ 9 算通过。
 
输出 JSON：{"scores": {"reality":N, "verifiable":N, "value":N, "diversity":N}, "total":N, "passed": true|false, "comment": "..."}`;

Claude 合的 100 条 → GPT-4o-mini review → 通过 62 条
GPT 合的 100 条 → Claude Haiku review → 通过 71 条

// examples/evalkit/src/synth/lint.ts
const LINT_RULES = [
  { name: 'unique_id', check: (samples) => /* id 唯一 */ },
  { name: 'valid_tool_name', check: (s) => /* expected_tool_calls 引用的工具都在工具集 */ },
  { name: 'mock_phone_only', check: (s) => !/(?:1[3-9]\d{9})/.test(s.user_input) || s.user_input.includes('1XXXXXXXXXX') },
  { name: 'no_real_id_card', check: (s) => !/\d{17}[\dX]/.test(s.user_input) },
  { name: 'user_input_length', check: (s) => s.user_input.length >= 5 && s.user_input.length <= 200 },
  { name: 'no_emoji', check: (s) => !/[\u{1F300}-\u{1F9FF}]/u.test(s.user_input) },
  { name: 'no_pii_leak', check: (s) => /* 检查 expected_response_contains 不含真实 PII */ },
];
 
export function lintDataset(samples: Sample[]): LintReport {
  const violations: Array<{ id: string; rule: string; detail: string }> = [];
  for (const sample of samples) {
    for (const rule of LINT_RULES) {
      const result = rule.check(sample);
      if (result !== true) {
        violations.push({ id: sample.id, rule: rule.name, detail: typeof result === 'string' ? result : '' });
      }
    }
  }
  return { totalSamples: samples.length, violations };
}

ShopAgent on L1 v2.0.0 (200 samples, gpt-4o):
  tool_call_match:        171/200 (85.5%)
  tool_call_match:        155/200 (77.5%)   ← 本仓库 ch17 实测（sonnet via mock-server）
  includes:               155/200 (77.5%)

ALL pass:                 155/200 (77.5%)

examples/eval-datasets/
├── l1/
│   ├── v1.0.0.jsonl              # 第 4 章 L1-60
│   ├── v2.0.0.jsonl              # 这一章 L1-200
│   └── changelog.md
├── l2/
│   ├── v1.0.0.jsonl              # 第 9 章 L2-30
│   ├── v2.0.0.jsonl              # 第 10 章 L2-100
│   └── changelog.md
├── l3/
│   ├── v1.0.0.jsonl              # 第 16 章 L3-40
│   └── changelog.md
└── rag/
    └── v1.0.0.jsonl              # 第 8 章 RAG-50

git tag dataset-l1-v2.0.0
git push origin dataset-l1-v2.0.0

# L1 Eval Dataset Changelog
 
## v2.0.0 (2026-05-27)
 
### Added (140 new samples)
- **拒绝场景**（5 条）：超出业务范围、跨用户查询、PII 越权等。补 v1 的 negative samples 缺陷
- **多 SKU 订单**（10 条）：覆盖换货 / 部分退款的复杂订单结构
- **8 工具的全覆盖**：v1 集中在 5 个高频工具，v2 加了 add_note / escalate_to_human 的边缘 case
- **跨模型多样性**：Claude / GPT 各合 100 条，cross-model review，最终人工筛剩 73 条
- **更难的 persona**：增加"啰嗦老人"和"试探型黑产" 的 L1 单轮版本
 
### Changed
- Schema 未变（兼容 v1）
- 重新 lint 全集，确保无真实 PII
- 修正 v1 中 3 条样本的 expected_tool_calls 标注错误（见 v1.0.1）
 
### Stats
- 总样本：60 → 200
- pass^1 (sonnet via mock-server): mixed 60 条 55.0% → 全 200 条 77.5%
  （200 条里 60 条 query_order 简单类拉高均值，但暴露了 address_change_shipped_policy 0/15 这种"集中式 policy 失败"）
 
## v1.0.1 (2026-05-26)
 
### Fixed
- L1-synth-021 expected_tool_calls 改正（之前期望 search_faq，实际可 get_product_details）
- L1-synth-053 user_input 改写（原句模糊）
 
## v1.0.0 (2026-05-15)
 
### Initial release
- 60 条 L1 单轮评测样本
- 覆盖 8 工具中的 5 个高频路径
- 5 种 persona