https://blog.gby.ai/tags/%E6%A0%87%E5%87%86/ Recent content in 标准 on GbyAI Hugo -- gohugo.io zh Content under license [CC BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) Thu, 31 Oct 2024 00:00:00 +0000 https://blog.gby.ai/creating-a-llm-as-a-judge/ Thu, 31 Oct 2024 00:00:00 +0000 https://blog.gby.ai/creating-a-llm-as-a-judge/ 简直说到我的心巴坎去了，从我做智能客服开始的时候就不止 N 次，要求团队增加一个专业的医美客服来全程跟！ Hamel Husain 这篇内容真的很好，全是实践经验。 介绍如何帮助模型团队避免被各种指标淹没。 据我观察他说的这些问题国内模型训练团队也都有： 创建大量难以管理的指标 非常随意的评分标准 忽视领域专家意见 指标不能反映对用户或业务需求 重要观点 真正的价值在于数据分析过程, 而不是评判器本身 简单的 Pass/Fail 比复杂评分系统更有效 过程是迭代的, 需要定期重复或在重大变更时执行 不能完全消除人工介入, 但可以减少所需工作量 实施建议 不要跳过数据检查步骤 让专家评审过程尽可能简单从简单开始, 需要时再增加复杂度 保持评判标准的一致性 关注业务目标而非技术指标 常见误区 过早使用复杂评分系统 忽视领域专家意见 过分依赖现成的评估框架 期望完全消除人工介入 原文地址： https://hamel.dev/blog/posts/llm-judge/