高考覆盖各类学科及题型，同时因其开考前的“绝密性”，被视作中国最具权威的考试之一。这一面向人类设计的高难度综合性测试，目前普遍被研究者用于考察大模型的智能水平。

在前不久高考结束后，上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试。6月19日， OpenCompass发布了首个大模型高考全卷评测结果。

语数外三科加起来的满分为420分，此次高考测试结果显示，阿里通义千问2-72B排名第一，为303分，OpenAI的GPT-4o排名第二，得分296分，上海人工智能实验室的书生·浦语2.0排名第三，三个大模型的得分率均超过70%。来自法国大模型初创公司的Mistral排名末尾。

此次测试的模型分别来自阿里巴巴、零一万物、智谱AI、上海人工智能实验室、法国Mistral的开源模型，以及来自OpenAI的闭源模型GPT-4o。实验室表示，因无法确定闭源模型的更新时间，为公平起见，此次评测没有纳入商用闭源模型，仅引入GPT-4o作为评测参考。这次选择参与高考的“考生”均在高考前（2024年4月-6月）开源，避免了“刷题风险”。

从结果来看，大模型的语文、英语考试水平普遍不错，但数学都不及格，最高分也只有75分，来自书生·浦语2.0，其次是GPT-4o，得分73分。语文最高分是通义千问，英语最高分是GPT-4o。

在数学方面大模型还有很大的提升空间。数学关乎复杂推理相关能力，这是大模型普遍面临的难题，也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。

上海人工智能实验室领军科学家林达华此前在采访中对第一财经介绍，复杂推理关系到落地应用时大模型的可靠性，例如在金融这样的场景下不能在数字上有差错，会对数学上的可靠性有较高的要求。另外随着大模型进入商用，若要分析一家公司的财报，甚至是工业领域要去分析一些技术文档，这时数学方面的计算能力就会成为一个壁垒。

“现在很多大模型的应用场景是客服、聊天等等，在聊天场景一本正经胡说八道影响不太大，但它很难在非常严肃的商业场合去落地。”林达华此前表示。

对于此次测试细节，上海人工智能实验室介绍，评测采用全国新课标I卷，“语数外”三科全卷测试，包括客观题与主观题。成绩由具备高考评卷经验的老师匿名人工判分，阅卷开始前，阅卷教师未被告知答卷均由模型生成，使阅卷教师完全以面对真实考生的标准评判回答效果。

值得注意的是，大模型犯错误的方式和人类考生有差异，从实践上来看阅卷老师们不完全适应给大模型评分，因此存在有题目误判的可能。实验室表示，每个题目都邀请了至少三位老师评阅取均分，团队对分差较大的题目还进行了再次审核，贴近高考真实阅卷标准。

实验室表示，在打分前，老师们并未被告知答案由大模型生成，但由于有的模型会存在完全不理解题意导致乱答、重复生成、回答更像解析而非解答的问题，老师们在阅卷过程中基本都会和团队确认这些情况是否是正常情况，团队会要求老师将离谱的错误直接视为答题错误，解析类型的回答以是否包含正确解题过程作为唯一准则。

在完成所有大模型答卷的评卷工作后，阅卷教师被告知所评“考生”的真实身份为大模型。研究人员同时邀请各科教师对大模型表现进行了整体分析，为模型能力提升策略提供参考。

语文方面，老师们认为，模型的现代文阅读理解能力普遍较强，但是不同模型的文言文阅读理解能力差距较大。大模型作文更像问答题，虽然有针对性但缺乏修饰，几乎不存在人类考生都会使用举例论证、引用论证、名人名言和人物素材等手法 。多数模型无法理解“本体”“喻体”“暗喻”等语文概念。语言中的一些“潜台词”，大模型尚无法完全理解。

在数学试卷上，老师们发现，大模型的主观题回答相对凌乱，且过程具有迷惑性，甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强，但是无法在解题过程中灵活引用。

英语则整体表现良好，但部分模型由于不适应题型，在七选五、完形填空等题型得分率较低。大模型英语作文普遍存在因超出字数限制而扣分的情况，而人类考生多因为字数不够扣分。

此外，一些老师提出，由于全部回答没有卷面，所以在作文的评判上会存在1-2分的误差。

(本文来自第一财经)

网友看法

1、网友不会数学和历史的神丐：现在所谓的AI实际上是基于大数据的快速调取工具，根本不是真正的能独立思考的AI

2、网友基础数学教授：数学才是区分人和机器的利器。高考应该增加数学，物理的占比，减少英语语文这些学科的分数

3、网友壹叶：连AI都不及格，我数学不及格也是合理的吧

4、网友彗星回归：英语已经可以扔进选修课了，等现在的高中生大学毕业，四年后ai绝对可以吊打99.9%的人类

5、网友哪吒约会嫦娥：实践证明，AI不是万能的

6、网友大兵Peter：如果训练AI才能有理想结果，为什么不训练人

7、网友若盻：某一天是不是机器人要彻底替代人类了

8、网友老码泽云：这是开源版本的。商业版本的会好得多。但是商业版本的涉及利益，即使测评了也不能随意传播。

9、网友天空之上4：说白了就是智能搜索，出创新题全完蛋

10、网友勇敢的麻酱Es：别再折腾孩子们了

11、网友收音机里听哑剧：Ai有点偏科呀[狗头]

12、网友流梦君：我一直在等一款工业ai软件出来，但是国内连一个工业建模软件都搞不出来的，也不指望了

13、网友心弦：我家孩子2023年广东高考生，数学140+，但英语～～，结果～～

14、网友生活拼字戏成文：人工智能终将代替人类，而人类会被认为是纪元以后的“恐龙”

15、网友Dustman162362978：Al没把模型，所有试卷，题库装载，否则分数不会低

16、网友踏雪西岭：我觉得AI最应该考的是政治

17、网友值三文：各门的平均成绩：101.07 （语文）53.57（数学）、97.64（英语）

18、网友一路顺风：基础人工智能有辅助作用，专业人工智能会很强大，破坏性人工智能有隐匿性，总之人工智能是人类智慧的结晶，是更方便合理的辅助。也是在控制之中的最大化应用。

19、网友蚂蚁桑泡：让AI复习一年，估计全国前几名就是它们了[奸笑]

20、网友爱因斯坦克：数学是考的逻辑思维，ai 只是一个云计算而已