随着AI模型能力的提升，训练需求变得更为复杂，一批为模型公司提供训练数据的新兴企业正在快速增长：AfterQuery在今年4月宣布A轮融资时，估值为3亿美元，到了9月，据媒体报道，新一轮融资已将其估值推至32亿美元。另一家提供训练数据与智能体环境的公司Bespoke Labs，也在今年7月宣布，种子轮与A轮融资合计达到4000万美元。
尽管估值水涨船高，AI数据行业对外界而言却极为不透明。这些公司究竟在销售什么？
过去提及数据标注，我们容易联想到为图片打标签、为模型回答评分。但随着AI从回答问题转向执行任务，数据公司的交付内容也在演变：从专家撰写的评分标准，到包含任务、工具和验证机制的强化学习环境。 它们需要找到懂行的人，获取真实的行业资料，再将专业知识与工作经验转化为模型可学习的训练信号。
与此同时，新的AI评测层出不穷。榜单分数提高，究竟代表哪些能力增强了？针对评测生产数据，何时能改善真实用户体验，何时又会变成单纯的刷分？对于每天训练模型的研究员而言，他们最需要的数据到底是什么？
本期硅谷101播客，我们邀请了在Scale AI负责后训练与评测研究的何允中，以及加州大学伯克利分校博士后、Agents’ Last Exam项目研究者孙一铀，从产业与研究两个视角，拆解这门透明度不高、变化极快的生意。
我们讨论了Scale、Mercor、Surge等数据公司的不同背景，也探讨了小团队在合成环境与垂直领域中的机会。从采购一份游戏源码，到验证专家提交的任务，再到设计让人愿意分享经验的激励机制，优质数据的难点往往隐藏在榜单之外。
以下是这次对话内容的精选：
01 谁在做AI数据生意？
Yiwen： 目前市场上的数据公司种类繁多，该如何分类？
何允中： 这里面有几个主要玩家，还有一些新秀，甚至几个人的小作坊。在我看来，最有趣的是各家基因可能不同。比如有做招聘出身的，像Mercor、Handshake；Scale AI是传统数据商，从众包网络起家；也有一些新的是做合成的；还有最新的一些，可能是某些领域公司转型做数据了。值得一提的是具身智能，这个行业目前有很多做模型的公司暂时没盈利，但投入了大量精力做数据，于是顺便做起了数据生意。很多各行各业的人也发现了自己数据的价值，转行来做数据公司。大致是这几个分类。
几个主要玩家，如Mercor、Surge AI、Scale AI，基本上试图覆盖所有领域。除此之外，一些新秀玩家在特定领域做得较好，像BigCode或Snorkel AI，可能偏向研究与工程，我猜测它们主要生产代码或工具调用这类环境，抓住了今年的风口。
另外，我还看到一些小公司，它们解决了一些垂直领域的问题，甚至可能不像我们做标注数据，更像数据经纪商。比如好莱坞的一个人，拥有大量版权数据，知道如何将不同领域的东西卖出去。现在最新兴起的就是垂直领域，把一个领域做得特别好，可能由一些领域专家组成。
我觉得机会还很多，大数据商有大数据商的优势，进入一个领域有较多资源。我认为整个市场在不断扩大。
Yiwen： 你提到像Mercor这样的公司是所谓的招聘公司，招聘是一种怎样的商业模式？
何允中： Mercor是做招聘起家的。它有自己的自动AI面试产品，主打重点是能在较短时间内找到足够数量的专家，拥有这样一个专家网络。Surge AI我觉得更多是将这个流程内部化。这里有一些取舍，基本上每个数据商都需要面对：如果我是完全全职培养的人，那能力肯定更强，但灵活性不足，产能可能较差；如果更多依赖众包网络，灵活性大，但每个人的质量较难保障，这就涉及质检问题。Scale AI这些公司的优势在于，我们在质检方面有经验，不仅针对数据，也针对人员。
02 AI数据行业，如何转向？
Yiwen： 其实我们关注这个话题，也是因为大约从2024年至今，对数据的需求发生了较大变化。因为2024年之前，我们聊数据时，大家想到的还是人工标注，即一些基础数据，需要大量数据来做预训练，训练模型。但从2024年起，Mercor之前提到过，由于Deep Search的兴起，整个行业转移到了所谓的Agentic data（智能体数据）。
我们会需要像你刚提到的rubric（评分细则），包括RL环境，现在更多是真实工作流数据。能否先帮我们梳理一下这些概念？先讲讲这个行业从众包数据、也就是人工标注数据，到智能体数据，中间经历了什么变化？
何允中： 对，首先说明一下，预训练仍然很重要。不过，从我身边人的兴趣来看，大家经历了一个转向，觉得预训练有点无聊了。那时o系列模型出来了，大家都在做推理，发现RL跑通了，一下子大家兴趣都集中在RL上。
RL比较有趣的一个问题是，我需要一个可验证的信号。 可验证的信号在代码或数学领域，尤其是最早的推理模型，是从数学上实现的，很简单，选择题答对答错就知道了，或者算出一个数字。但之后大家就在想，数学可以做RL了，其他领域呢？比如医疗、金融，或更基础的指令遵循，这里能否做RL？这里存在一个问题：它有一些客观标准答案，不像之前阶段做RLHF（基于人类反馈的强化学习），即reward model（奖励模型），可能没有标准答案，只是学习大家的偏好。
这里面其实是有标准答案的，只是它比较非结构化。就像我答历史考题，历史考题有标准答案，但每个人的写法可能不同，我很难做pattern match（模式匹配），即用A B C D检查是否答对。这时就需要rubric的方式，相当于让一个助教拿着教授写的打分规则来评分。
因为打分规则是提前标好的，由教授撰写，所以助教不需要特别聪明。这是整个大模型数据中的一个核心概念，即Weak-to-strong supervision，能否用弱模型来监督强模型。 它成立的条件是，有个专家将他脑海中的知识写下来，这样弱模型拿着它改卷子就行了。这就是rubric data。
这个东西应该火了很长一段时间，当然现在仍很重要。但各个专家领域里容易获取的rubric，很快就被收集得差不多了。像Mercor或Surge AI的崛起，其实与这一块的专家rubric有关。但再往前走，大家需要动手了。比如现在做代码模型，或像一铀他们做的ALE，虽然它不完全是代码，但需要“动手”，解决各种问题。
这时，不再只是验证聊天输出，而是需要在Agent环境下，可能需要提供一些工具和更复杂的验证方式。它包含rubric，但可能需要检查环境中的变量是否执行、数据库是否写入或删除。甚至如果生成一些文档，里面可能有图，这仍需要rubric，但需要一个agent来检查，变得更加多样化。
现在大家追求的一个大方向就是环境，它不只是标注好的打分规则，而是可能包含一整套“我要做什么”、“在什么环境里做”，包括所需工具、执行沙盒，以及一套与task相关的验证方式。验证方式非常多样，比如Programmatic check（程序化检查）、rubric、偏好，让人选择更喜欢哪种。
这里面我暂时还没形成特别大的共识。我又看到有点像当年rubric时代，每家要求都不一样。比如Terminal-Bench（终端任务基准），它们不要rubric，纯用programmatic。这里面也有不同流派，挺有意思。
Yiwen： 一铀，你要不要从ALE的具体例子，来跟我们讲一下需要哪些要素？（注：ALE，Agents’ Last Exam，由加州大学伯克利分校RDI与300多位行业专家共同牵头构建，旨在评估AI智能体完成真实专业任务的能力。它让专家提交自己做过的项目，并为任务配备执行环境与验证机制，检验智能体能否完成耗时较长、具有经济价值的工作）
孙一铀： 其实我跟允中的看法有点相反。允中认为现在rubric差不多已做到头了，但我的看法是，我觉得rubric这一块，尤其专家那种主观判断题，其实还做得远远不够。我可以先从ALE的初衷讲起。ALE当时建立的初衷跟允中讲的一样，就是我们如何把vibe coding迅速发展的趋势推广到vibe everything。
当时vibe coding为什么发展那么快？因为当时有非常多的Benchmark（评测基准）都在coding领域，而且coding比较容易验证，它是一个确定性的rubric。大家为了刷这个榜，所以在coding上发展非常迅猛。用同样的思路，我们在其他各个领域上，尤其是工程，能够客观打分的这些领域上，建立各种评测体系，你去刷分，但只要你刷的是有益的分，是有意义的题，那它模型带来的提升，对于人的日常工作来说，就是实打实的提升。
所以这就是我们当时想建立这样一个东西的初衷。当然世界上大家职业各式各样，实在太多，浩如烟海，所以我们只是说在第一个版本里，给出了一个相对覆盖面较广的初次尝试。然后我们会继续努力，希望覆盖得更广一些。到某一天希望它能成为真正的last exam。当你解决这个benchmark时，基本上就能解决人类社会在某些领域的真正有益的问题。
据ALE官网介绍，其评测覆盖55个非体力类职业 图片来源：ALE Blog
何允中： 我同意一铀的观点，各个领域的训练肯定远远没有到头，很多东西可能都还没被rubric的方式表征出来，所以这里面还有很大空间。可能我刚说rubric到头了，更多是行业趋势，指这种静态的单轮或多轮聊天，出一个文本，然后用rubric检查它，即纯知识类的。甚至也不是说到头了，因为毕竟还有不同的lab，每家水平都不一样。
只是说今年的一个大趋势是在做coding，然后coding逐渐转向了Knowledge work，大家要动手了。这时，文本的rubric，我看到需求量小了一点，但还是很大，仍有很多东西没解决。
03 做评测与卖数据，边界在哪里？
Yiwen： 我想再追溯一下评测近几年的发展，以及它和卖数据之间的关系。Benchmark和卖数据这两件事，大家都觉得不能混为一谈。Scale AI之前推出了Humanity’s Last Exam，即HLE这个评测，能否给我们讲一下这个评测，以及你觉得它和数据之间是如何联系的？
Humanity’s Last Exam成绩曲线 图片来源：lastexam.ai
何允中： 这是个好问题。我觉得从原理上说，评测体现的是模型距离我们理想状态之间的gap。它更多是一个科学研究的基准，即我想要模型在哪，它现在没到哪。但这跟卖数据联系起来也很有意思。因为很多时候，提升模型能力的数据，和榜单的评测方式是息息相关的。这里可能比较难的是找到一个平衡。如果大量生产跟这个榜单差不多的数据，那它可能就在Bench-maxxing。
但大模型训练还是有各种维度，确实如果要提升某一类能力，需要抓住某一个维度，那么它跟benchmark肯定有一定相关性，这是大家需要找到的平衡。因为对AGI的期待太高了，觉得人能做到的事它都能做到，即在各种领域都可以想到一些方式构造一个benchmark，然后发现模型距离想象还有差距。
通常构造benchmark的人，对这一块领域认识较深，自然会给他一定卖数据的权威性，大家会比较相信你手上卖的数据。这个生意就这么产生了。现在ALE也是做得很火的benchmark，我相信也有不少人想问一铀卖不卖数据，或者VC可能也想找你投资，结果逐渐就成了一个生意。
我觉得有好有坏吧。这个生态其实还比较野蛮发展，有多少在做科学，多少在做bench-maxxing，我觉得确实需要仔细权衡。但这确实有很多利益驱动，所以现在是个挺繁荣的市场。
孙一铀： 对，这里的话，我也是要给大家敲个警钟。因为允中提到了，现在做benchmark的人会收到各种诱惑，要把benchmark数据拿去卖。我甚至私下听到，有一些数据公司踩了这个红线，它把自己在做评测的数据去卖。当然这是大家千万不能碰的一条线，不能让你做的生意污染你这个benchmark的权威性，不然的话，你不仅毁了你的benchmark，也毁了其他人的模型。
我个人认为benchmark和卖数据，这两个东西角色不一样，在这个生态系统里的地位不同。我认为benchmark面向的是未来，做数据面向的是现在。 Benchmark是面向未来，大家还希望模型公司去解决目前还没解决的什么问题。ALE其实我们在今年1月、2月做的时候，特别害怕benchmark做得太难，导致benchmark失去意义，因为当时模型很多基本上平均分只有10%到20%，大部分题目都只能拿到零分。
我很担心这样的评测会失去意义。但事实上没必要担心这件事，因为benchmark本身要面向未来的模型去做。数据的话更多是去解决benchmark所产生的一些需求，所以现在大家刷这个榜单，更像是如何把这东西做好。我认为benchmark-maxxing（刷榜）它有好有坏，只要面向了数据，它不是直接污染benchmark，benchmark刷的又是有意义的榜单，只要benchmark和人的真实用户体验非常接近，我觉得bench-maxxing不一定是个贬义词。
04 垂直行业数据：难在采购
Yiwen： 能否深入讲一下数据采购这件事？第一，你提到了刚才有很多小公司，其实是一个创业机会，这也是为什么我们看到最近兴起的一些三五个人组成的数据创业公司，拿到了非常高的估值。这是不是因为他们目标就是这些非常垂直的领域的数据？
何允中： 我觉得这里可能有几块问题。首先，我觉得最近兴起的这些RL environment公司，其实更多是在做合成。因为整个数据行业已经从找人标注，慢慢过渡到要交付的是一整套环境，然后这个环境可能需要大量工程工作。很多在这些合成技术栈上做得较好的小团队，其实可以在较短时间内交付大量合成环境。
这未必不好，合成有时也可以基于一些强模型，或基于一些半成品的artifact，做出一些好东西来。现在这是一块增长。但再往下走，比较有趣的是，这个东西之所以能成立，因为大家今年的主题是卷代码。软件行业非常开放，有大量公开资料，而且我们生产数据的公司，同时大家都懂代码，所以这个比较好解决，让一些小团队有很多机会给自己造很多数据。
但我觉得再往后走，比如其他领域的垂类，就更复杂了。这里面我看到一些公司，它们可能解决两个不同的问题。比如像我们做后训练数据，其实在我看来是两个问题：第一是采购，要把原材料买回来，就好像ALE让大家上传，这是一个比较新的激励机制；然后加工，再把它标注，或通过一些agent pipeline把它做成适合大模型训练的环境。
在这个垂直领域问题上，其实采购变得越来越复杂。甚至代码领域，采购一些私域的代码仓库，谁能把这个问题解决好，是一个巨大优势。那么在垂直行业，比如做芯片设计，我可能要把整个芯片设计环境造出来，可能涉及一些商业软件，如何把这些商业软件的版权拿到，把它包在里面就是一个问题。还有一个比如做DevOps（开发运维），我要是一个系统工程师，要操作什么AWS之类的，我知道有个公司做了一整套AWS模拟器。
每一个垂类的环境都有一些很深的东西，你可能要采购，可能要定制软件。大家抓住一两个垂类，把这个东西做好，创造了很多新机会。
Yiwen： 因为刚才我们提到这些垂直场景，比如在药物发现这些生物医药方面，还有一些具体行业的评测下，我们可能没有足够的场景，或没有足够好的评测。在这种情况下，我们有足够好的数据吗？
何允中： 这里其实有一个难点。每个领域都需要有人把他的专业知识吐出来之外，还需要这个领域的东西。像药物发现，我可能需要很多私有的数据库，这方面我认为是目前这个行业一个大的卡点，就是你先要能把这东西买到，你知道大家手上有什么，才能把它做成benchmark。ALE其实很大程度上是在解决这个问题。
孙一铀： 对，ALE希望大家能以众包方式，让专家把之前自己做过的project交上来。当然这里面有一些不符合规范的，我们都筛掉了，比如我们现在在V2中，也尝试收一些数据，比如Steam上的一个游戏库，就游戏开发的一个任务。那种名不见经传的，大概几千人体量的MOBA（多人在线战术竞技）类游戏，它要价能要到两三百万人民币一条。我觉得哪家数据公司或别人做benchmark，都没有这个财力去做这件事。
何允中： 对。比如很多公司想要采一些游戏的视频，然后做些标注，游戏视频可能是版权数据。这里有一个巨大的采购问题。我觉得这里是一个商业机会。我现在其实看到不少startup在解决这些问题，就大数据商我们自己也在投入做一些采购方面的工作。但总体上来说，我觉得这里还有巨大的问题没被解决。
ALE的行业版图，气泡里的图标是真实工作流中用到的专业软件 图片来源：ALE论文（arXiv:2606.05405）
孙一铀： 对，我们在做ALE V2，想要把比如一个领域做深的时候，我们会先捋一个领域，它会有哪些工作流，会有一个树状结构，尤其在生物学这一方面。然后我们基于Nature出版物，它有自然的分类，子学科分类，然后把这个树展开到第三级时，大概有3000个节点。然后我们也做了一些工作，把现有市面上的life和bio的benchmark已覆盖了多少，做了一个统计，大概是10%、5%都不到，甚至市面上连一个成型的、覆盖面完全的benchmark都没有，更别说是针对这个去做相应的数据。
05 数据公司的竞争 最终是研发能力的竞争
孙一铀： 这个地方我想问允中你的看法。因为我个人认为，随着模型能力越来越强，模型公司自己内部创造数据的能力也越来越强。这一点你认为这个饼是越来越大的，但有没有可能出现一个情况，这个饼面向非头部公司的机会，反而门槛是越来越高的，入场券是越来越难拿的？比如数学这块领域，之前的话，大家只需要影印那些奥数课本，就能批量造出大量数据，但这些数据现在基本上是零价值。所以你是怎么看待未来的数据公司的发展方向？
何允中： 我会觉得从第一性原则上说，还有巨量的问题没解决。你要想这个世界上还有多少东西没被蒸馏干净，是巨大的机会。但如果你就看现在大家如何运行，这件事当然会越来越难，因为越来越多的玩家进来了。我觉得大家如果只盯着我手上的工作，这个一定是越来越难做的。就算这个lab不自己做，越来越多的竞争对手进来，你的利润率也会越来越低。
所以在我看来，一个好的数据商最后解决的是个研发问题了，就好像一个软件公司一样，我要提前投入未来大家需要的东西，赚到钱后再投入下一个东西。在lab本身，我有个暴论：可能lab未必有最好的基因来解决数据的问题。这里面可能有几块。比如合成数据，合成数据其实按理说很多就是lab research的本职工作了，尤其是搞后训练的，大部分时间都花在搞数据上了，就是买数据、核数据、验证数据、洗数据。
但这个领域你会觉得，为什么外面的人会有机会？今年的这一波增长都来自于一些懂行的人在外面把这个数据合了再卖回去。所以这件事是存在的。我觉得一方面是因为大模型公司现在有太多钱，就是你自己造，外面买其实也不矛盾。但在更长远上说，其实有很多问题可能模型公司没有
+1.5万 
