Vals AI 是一家专门给大模型打分的独立第三方评测公司。它主打的不是大众偏好投票，而是用律师、银行家、医生这些行业专家自建的私域测试集，按真实工作任务（金融建模、法律研究、编码、税务、医疗等）给主流模型出成绩，公开 leaderboard 和报告免费可看。它的特别之处在于测试集不公开，靠这点试图规避公开榜"刷分"和饱和失真，结果常被 OpenAI、Anthropic、Google、Meta、xAI 写进自家 model card。
Vals AI
专门给大模型打「真实工作」分的第三方评测站，金融、法律、编码这些高门槛任务为主，靠私域题库防刷榜，结果常被各家模型厂商写进 model card。
收费：免费 / 其他
平台：Web
产品介绍
优点
- 测试集私有+专家命题，结果被 OpenAI、Anthropic、Google、Meta、xAI 写进自家 model card，在圈内算硬背书
- 覆盖面贴真实任务，金融、法律、医疗、编码、税务、公共福利这些高 stake 行业都覆盖
- 跟得上 frontier 模型周更的节奏，基础设施（Valkyrie、model library）也开源，透明度比纯黑箱评测高
缺点
- a16z 既领投 Vals 自己又是被评模型厂商的投资方，独立性和潜在利益冲突一直被外界点名质疑
- 私域测试集意味着外部完全无法独立复现，私有评估和企业端定价都不公开，外界基本只能「相信 Vals」