每日资讯

每天 5 分钟,跟上 AI 与创业变化。

为一人公司和超级个体筛选值得关注的 AI 动态、产品机会与创业趋势。

2026-11-18

星期三 · 2 条
工具BestBlogs 编程精选 · 6 分钟

商家 AI 助手评测闭环:41 个场景与五维指标

一篇实战文拆解商家 AI 助手如何从业务 SOP 建评测场景、校准评测器,并用图灵平台跑通离线到线上迭代。

  • 从业务 SOP 自顶向下拆场景,把每个 Skill 转成业务状态图,明确 6 类要素
  • 为 KA 每日巡检设计 41 个评测场景,配 Rubric 成功判定与五维指标
  • 用确定性 Grader 加 LLM Grader 校准评测器,优化后 Pass@k 提升明显
查看原文 →
AIBestBlogs AI 高分 · 2 分钟

Jason Wei 离开 Meta 加入 Mercor 任首席科学家

思维链论文首作者 Jason Wei 离开 Meta,出任 AI 数据公司 Mercor 首席科学家,负责组建研究团队并主管数据与评测。

  • Mercor 拥有 500 万医生、律师、工程师,为 AI 公司出题、写标准答案、给模型打分
  • 该公司 11 月 10 日完成 7.5 亿美元融资,估值达 200 亿美元
  • Wei 历任 Google Brain、OpenAI、Meta,均聚焦推理与评测方向
查看原文 →
查看全部往期