模型选型先查评分答案：AWS 复盘评测偏差与数据重用
AI 辅助整理
AWS 与 Property Finder 团队复盘房产图像评测：沿用旧模型预测作为标准答案，会把模型比较变成对旧行为的模仿。团队重新组织专家标注，并按业务需要调整多标签与指标。原文也披露最终评估包含开发样本、不同模型调优投入不等，分数可能偏乐观。企业可借鉴其排查方法，但不能把案例分数当作独立泛化证明或当前成本承诺。
评测偏差从哪里来
厂商披露据联合撰写的工程博客，Property Finder 将大量旧模型预测直接作为评测标签，使替代模型首先被比较是否符合旧模型，而非实际判断是否正确。团队还发现字符提取错误和类别规范不一致等问题，因此由领域专家重新标注、通过澄清会议统一口径。
如何调整评测方法
厂商披露文章说明，部分房产照片同时包含多个房间或属性，单标签会制造不必要的歧义，因此改用适当的多标签输出。团队同时观察 Micro F1、Macro F1、逐标签精确率与召回率等指标，避免只看一个总分掩盖罕见类别表现。
原文明确的证据局限
厂商披露最终报告的356张图像包括用于调优的256张开发图像，两个模型都在这些开发样本上调过提示词，原文明确分数因此可能偏乐观。不同模型接受的调优投入也不相同。文中费用采用2025年12月的估算口径，并非当前统一报价；本稿不复用其降本比例作为已验证结论。
企业可以如何验收
编辑分析模型迁移前，先检查标准答案的来源和错误，再建立不参与调优的保留测试集，记录相同业务口径下的模型、提示词和人工复核条件。标签独立不代表测试独立；案例复盘的价值在于暴露这些限制，不是证明某个模型普遍优于其他模型。
原始来源与引用
- 原始标题
- Fix evaluation bias to unlock better models on Amazon Bedrock
- 作者
- Khaled Thabit、Meriem Boughrara、Mina Metias、Mohamed Desouky、Mohamed Noordeen Alaudeen、Vadim Selyutin
- 原文语言
- 英语
- 原文日期
- 2026/10/28
- 本站整理
- 2026/10/28 · 版本 1
- Fix evaluation bias to unlock better models on Amazon Bedrock
证据摘录：These scores are therefore optimistic.
本文为原创摘要与分析，不是全文翻译。功能和效果表述归属于原始来源；编辑分析不代表原作者观点。