KAIYUN中国·官方网站-开云中国门户入口

开云网站:大模型2024高考发榜豆包等三款国产AI考上文科一本线-开云中国·官方网站
KAIYUN中国 - 专业模型设计制作企业 | 高品质多元化解决方案 | 诚信共赢

咨询热线:

0830-2509596

开云网站:大模型2024高考发榜豆包等三款国产AI考上文科一本线

发布时间:2024-07-23 12:09人气:

  6 月 24 日,在极客公园最新发布的高考新课标 Ⅰ 卷大模型评测报告中,GPT-4o 以 562 分排名文科总分第一。国内产品中,字节跳动旗下的豆包拔得头筹,成绩是 542.5 分。

开云网站:大模型2024高考发榜豆包等三款国产AI考上文科一本线(图1)

  但同时我们也应该看到,生成式 AI 尚处于发展初级阶段,AI 是否足够“聪明”,仍然是影响相关技术和产品体验的基本要素。

  所以,用高考题来测试 AI 大模型,确实不失为一个有趣又直观的评判大模型能力的方式。

  具体来看这次高考卷大模型评测的详细情况。首先,语文、英语的语言类考试,是大模型有能力和人类考生较量的赛场,多家产品能拿到客观题目的满分或接近满分。

开云网站:大模型2024高考发榜豆包等三款国产AI考上文科一本线(图2)

  作为本次评测的语文作文阅卷人,北京市级骨干教师、怀柔区语文学科带头人夏老师曾多次参加全国高考语文阅卷。

  文章中显出的对就业结构、伦理方面的担心,展现出豆包已经具有不错的思想深度和思辨能力。在立住“问题”后,豆包随即用反问句自然过渡,引出三个排比段提出解决问题的方法 —— 保持“问题意识”。其中用发展的眼光分析问题,结合现实生活揭示问题产生的根源和危害的部分颇为亮点,并且整体上“结构严谨,层层推进,语句流畅,认识全面”。

  英语写作同样是大模型的一大难题。本次评测默认所有大模型的听力都获得 30 分满分。在阅读和语言运用两大项客观问题的考试上,GPT-4o、百小应、通义千问获得 80 分满分,豆包和文心一言 4.0 也接近满分。

  但是在 40 分的写作考试中,最高分只有 29 分,分别由 GPT-4o 和百小应获得,各家模型的英语写作主要丢分在表达空泛、缺少细节上。如果大模型在未来能够提升写作能力,获得高考满分并非难事。

  在由历史、地理、政治组成的新课标文综考卷评测中,GPT-4o 获得 237 分的成绩,平均分达到 79 分,优于多数人类考生。国产大模型产品中,豆包的文综成绩最高,分数达到 224.5 分,其中历史Kaiyun官方入口科目拿到 82.5 分,在所有 9 款大模型中得分第一。

  政治考试中,GPT-4o 出人意料的获得了 88 分的最高分,百小应和豆包得分超过 80。地理考卷则有大量图片问题,对一众大模型是不小的挑战,图像理解能力较强的 GPT-4o 得到最高分,但仅有 68 分。

  河南高考分数段统计数据显示,GPT-4o 的 562 分在文科考生中排名 8811 名,相当于人类考生的前 2.45%。而仅次于 GPT-4o、位列国产 AI 第一名的豆包大模型文科成绩 542.5 分,超过文科一本线% 的位置。

  由此可见,在过去一年多时间里,国产 AI 技术能力获得了长足进步,目前已经接近国际顶尖大模型的水平。

  与人类顶尖考生相比,大模型在数学、物理、化学等数理学科上差距极大,包括 GPT-4o 在内的所有大模型都无法达到及格水平。尽管在语文、英语两科上能获得高分,大模型的理科最好成绩还无法进入人类考生的前 30%。

  据测试机构透露,豆包等大模型能准确运用求导公式和三角函数定理,但是面Kaiyun全站网页对较为复杂的推导和证明问题就很难继续得分。

  重点考查实验探究能力的化学和物理试卷,各模型平均分更是只有 34 分和 39 分(满分为 100 和 110)。化学单项最高分由豆包获得,成绩为 49.5 分,GPT-4o 仅有 42 分。

  大模型在应对考试的灵活性上也不如人类。例如物理有一道送分题,人类考生根据“时间不会倒流”可以排除错误选项,轻易选对正确答案“C”,大模型则几乎全军覆没。

开云网站:大模型2024高考发榜豆包等三款国产AI考上文科一本线(图3)

  不过,据麦肯锡报告分析,大模型的价值创造潜力惊人,到 2030 年,有望在全球推动 49 万亿人民币的经济增量。

  而目前,从技术创新到商业落地,大模型已经开始在为我们的日常工作生活和各行业的 AI 转型提供动能。

  虽然生成式 AI 目前确实还有不足,路漫漫其修远,但相信在以豆包大模型为代表的众多生成式 AI 技术和产品的共同发展和努力下,未来简单的高考试卷对于它们来说将不再是挑战,更广泛的应用场景唱,给出更加完美的答卷。

  广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。


0830-2509596