每次前沿模子发布，AI圈齐会盯着几张老练的收成单。

MMLU-Pro、MMMU、MMMU-Pro……这些名字对平凡用户来说有些生分，但对模子公司和磋议者而言，它们简直照旧成了“圭臬科目”。GPT、Claude、Gemini、Llama、Qwen、DeepSeek们不休在这些基准上交卷。

“是骡子是马拉出来溜溜”，模子怎么样，经常齐要靠这些分数来评释。

好多模子发布会上的能对比图，离不开它们；HuggingFace上的些名次榜，也拓荒在这些评测体系之上。致使不错说，今天AI行业照看模子才气时，使用的照旧是套由这些基准界说的共同语言。

但有酷爱的是，简直统统东说念主齐在眷注分数，却很少有东说念主知说念出题的东说念主是谁。而MMLU-Pro、MMMU和MMMU-Pro背后，齐能看到同个名字——陈灯谜。

他是加拿大滑铁卢大学计较机科学系助理教训，在谷歌学术上，他的论文被援用过3万次。

他亦然“老虎本质室（TIGERLab）”的独创东说念主，这个本质室的英文全称是Text and Image GEnerative Research Lab，因为名字里有个“虎”字，陈灯谜为其起了个很有辨识度的中语名——虎头帮。

01

旧考卷失灵之后

陈灯谜先被多东说念主珍爱到，是因为MMLU-Pro。

MMLU也曾是大语言模子才气评估中常用的基准评测之。它像张综试卷，隐蔽多个学科，用来预计模子在常识连气儿和理任务上的弘扬。

在早期，这张卷子很有效。模子之间的差距能被分数拉开，行业也不错通过它不雅察大语言模子是不是的确在进取。

但问题很快出现了。

跟着模子才气不休进步，MMLU逐渐变得“不够考”了。前沿模子的分数越来越，彼此之间的差距越来越小。

到OpenAI发布o3之后，这个问题变得加显然。o3在MMLU上的准确率照旧接近，其他前沿模子也赓续交出靠拢满分的收成。

这听起来像是个好音书，但对评估来说，反而意味着肃除。

张试卷淌若大齐能考接近满分，就很难链接判断谁强、强在那处。它仍然不错评释模子照旧具备某些才气，却不再适预计新的进取。

AI行业需要张难、也退却易被“乱来曩昔”的卷子。

2024年，陈灯谜和团队出了MMLU-Pro。

MMLU-Pro从头阅兵了这张考卷，而非简便把题库扩大。

它包含12032说念题，隐蔽数学、物理、化学、法律、工程、神志学、健康等14个域。比拟原版MMLU，它把选项从4个彭胀到10个，裁减模子靠猜想蒙对的概率；同期加入多偏理的问题，算帐掉原题库中相对简便、存在歧义粗略阔别度不及的题目。

果很径直。

论文成果自大，模子在MMLU-Pro上的准确率比拟原版MMLU着落了16到33。同模子在24种不同领导词作风下测试时，收成波动也从原MMLU的4到5，着落到约2。

也就是说，这张新卷子不仅难，也平安。

它让那些在旧考卷上看起来齐很秀的模子，从头被拉开了差距。模子到底是真会理，照旧只是擅长应酬旧题，也因此容易被看出来。

02

好用的基准评测

MMLU-Pro很快被行业拿去用了。

MMLU-Pro随后插足NeurIPS2024数据集与基准评测赛说念，也被EleutherAI的语言模子评测框架lm-evaluation-harness集成。对开源模子社区来说，这意味着它不再只是篇论文里的数据集，而是插足了常用评测器具链。

好多模子发布时海口塑料挤出设备，初始敷陈MMLU-Pro分数。HuggingFace上的些名次榜，也把它纳入评估体系。

淌若说MMLU-Pro责罚的是语言模子评估里的“旧考卷失灵”，那么MMMU则把陈灯谜和TIGERLab到了多模态评测的中心。

多模态模子的问题复杂。

语言模子答题，主要处理翰墨。多模态模子则要同期处理图片、图表、清晰图、舆图、表格、曲谱、化学结构等不同体式的信息。它不单是要读懂题干，还要真实看懂图像里的实质，并把视觉信息、文本信息和学科常识放在起理。

MMMU基准评测包含1.15万说念多模态问题，来安闲学考试、考研和讲义，隐蔽艺术与缠绵、贸易、科学、健康与医学、东说念主文社科、工夫与工程六大域，进取细分为30个学科和183个子域。

这些题目不是简便问模子“图里有什么”，它条款模子像学生作念业题样，把图像信息和学科常识结起来。

MMMU发布时，塑料挤出设备磋议团队测试了14个开源多模态模子，以及GPT-4V、GeminiUltra等代表闭源模子。即即是其时强的闭源模子，GPT-4V和GeminiUltra也只达到56和59的准确率。

这组数字证据，多模态模子看起来进取很快，但在真实需要业连气儿和理的问题上，仍然有无数空间。

自后，陈灯谜团队又出了MMMU-Pro，进取堵住模子绕过视觉信息的空间。它过滤掉只靠文本模子也能回应的问题，彭胀候选项，并引入vision-only竖立，把问题镶嵌图像中，条款模子同期完成视觉读取和文本连气儿。

简便说，就是不让模子“只看翰墨猜谜底”。

这类责任听起来颇有点琐碎之感，但它们很瑕玷。因为多模态模子改日要插足医疗、教训、科研、缠绵、工程等场景，只是能描写图片是不够的。它须能判断、理、解释，也须能在复杂视觉信息中找到真实有效的部分。

03

“考卷”背后的东说念主

陈灯谜自后作念MMLU-Pro和MMMU，来自于他直以来的磋议向。

他的磋议兴致蓝本就与复杂信息连气儿、常识问答和理联系。

他本科毕业于华中科技大学，之后到德国亚琛工业大学攻读硕士，再到加州大学圣巴巴拉分校赢得计较机科学博士学位。博士期间，他照旧初始围绕复杂问答、表格理、常识把柄定位等向作念磋议。

这类任务有个共同点：谜底经常不在单文本里。

它可能藏在张表格里，也可能需要结段翰墨和张图片，还可能需要模子先检索信息，再整、计较和理。模子弗成只会复述已有常识。

陈灯谜参与过的HybridQA、TabFact、ProgramofThoughts、MAmmoTH等神情，齐和这条线联系。

这也解释了他为什么会对模子评估里的疏忽明锐。

好的基准评测不是简便把题目搞得越来越难，而是要预判模子容易在那处“蒙对题”“看起来会”。

模子可能记着了题库，也不错靠选项猜谜底，还可能用翰墨绕过视觉信息……好的评估得把这些疏忽补好。

博士毕业后，陈灯谜插足谷歌磋议院，随后在2021年至2025年参与谷歌DeepMind的Gemini多模态模子和评估责任。这段履历也很进攻。遥远战争前沿模子研发，让他澄澈模子才气是如何增长的，也容易看见评估中可能存在的偏差和盲区。

2022年秋季，陈灯谜加入滑铁卢大学计较机科学学院，担任助理教训。同庚，他入选CanadaCIFARAIChair。之后，他创办“老虎本质室（也就是虎头帮）”，链接围绕基础模子、多模态才气和基准评测伸开磋议。

虎头帮并不单是作念基准评测，也在作念模子和系统磋议。

在朝上，UniVideo试图把连气儿、生成和剪辑放进同个框架，让模子不单是生成段画面，也能连气儿实质、反馈指示并完成修改。Vamba对准长连气儿，责罚小时别带来的显存、计较和训诫率问题。与Meta生成式AI团队作的MoCha，则把放在言语假造角生成上，通过语音和翰墨描写生成质地东说念主物。

个从来不作念题的出题东说念主是不可能出好题的。我方下场作念模子，反过来也让他们适作念评估。

因为真赶巧的评估，经常还自对模子才气范围的连气儿。惟有知说念模子是怎么作念出来的，知说念它在真实任务里会遭受什么问题，才容易缠绵出能测出差距、也能涌现问题的题目。

如今，陈灯谜插足Meta智能本质室，责任链接齐集在多模态预训诫数据和评估，并作事于Meta基础模子。

AI行业并不艰辛被看见的东说念主。AI行业里，聚光灯经常会落在创业者、明星磋议员和大模子公司的认真东说念主身上。新址品发布、融资音书、开源模子和团队养息，经常容易诱导外界眷注，也让这些名字容易插足公众视线。

但今天的AI域，华东说念主东说念主才的参与照旧远不啻这些显眼的位置。电话：0316--3233399相关词条:铁皮保温施工     隔热条设备     锚索    离心玻璃棉    万能胶生产厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》海口塑料挤出设备，以此来变相勒索商家索要赔偿的违法恶意行为。