沙利文联合头豹研究院正式启动大模型评估测试，现诚挚各企业积极参与，共同探讨中国大模型产业发展现状，助力产业向阳发展。

　　随着数据资源不断增长以及计算能力的提升，以ChatGPT为代表的大语言模型技术席卷全球，将人工智能推向新的拐点。大模型作为基础设施，将持续向更多的领域渗透其影响力，为行业提供深度技术加持。

　　目前，大语言模型的发展呈现出显著的技术创新和全球竞争态势。截至2023年，中国地区已经出现超过80个不同的预训练大语言模型，参与者覆盖中国顶尖的学术研究机构以及互联网科技企业，旨在此番浪潮中拔得先机。

　　在此背景下，探析大语言模型产业链布局、大模型基础资源、市场参与者、产业实践以及行业应用情况，梳理大语言模型评测维度，对大模型能力进行全方位评测具备必要性，有助于推动中国大模型产业向规范化、安全化发展，对国家产业发展具备良性促进作用。沙利文及头豹研究院基于百人分析师团队等权匿名投票制，筛选15个大模型进行多维度综合性评测，致力于梳理中国大语言模型竞争参与者现状。

　　本次大模型评测围绕五大核心板块展开评测：知识能力、语言能力、道德风险、行业能力以及综合能力。五大板块总计超1,500道题目。评测团队均由沙利文及头豹研究院各团队资深分析师组成，且均具备超过8个月的大模型实际使用经验。评测内容具体包括：

　　由80%主观题和20%客观题组成，结合文本类任务实践经验，测试大模型文本生成的底层基础能力。

　　开放式逻辑推理：开放式逻辑推理是指在复杂、开放和不确定环境下的逻辑推理和问题解决能力。

　　由60%主观题和40%客观题组成，监测是否生成有偏差或不道德的输出或用于生成虚假信息或有害内容，考量大模型的综合安全性。

　　由50%主观题和50%客观题组成，结合实际任务的完成效果和分析师实践经验进行评判，考量大模型特定类综合性任务执行和完成能力。

　　基于大模型赋能千行百业的愿景，本次评测将从知识正确性、观点独立创造性以及实际应用价值性三个维度考量大模型在不同行业的应用能力。结合沙利文与头豹研究院的行业理解和实践优势，对17个大模型高应用价值行业进行能力评测。

　　1）第一阶段，模型选择：沙利文联合头豹研究院进行了深入的市场调研，借助大模型实践经验，结合分析师团队的投票结果，确定15个大模型作为评测对象；

　　2）第二阶段，内容收集：沙利文联合头豹研究院组建报告评测团队，随机匿名分配大模型至团队成员进行大开云网站模型评测答案搜集，并将答案交付至评估团队深入分析；

　　3）第三阶段，分析师测评：由资深分析师组成的团队对大模型评测答案进行仔细审阅和评估。为杜绝评测人员的模型偏见问题，答案采用完全随机方式展示，模型名称以代码名称代替，以确保评测人员在审阅时不了解其背后的具体模型。最终，数据分析师对评分结果进行详细的分析和处理；

　　4）第四阶段，结果发布：发布《2024年中国大模型评测》报告结果，并通过多个媒体宣传渠道，包括官方网站、金融服务平台以及公众号等，广泛传达评测报告中的关键发现和深度行业见解，旨在深入向公众传递对中国大模型能力的全面理解。

　　基于研究内容独立、公正及客观性的原则，沙利文及头豹研究院评测团队以严格的双盲形式进行评估打分，经过严谨公正的评分规则进行结果产出。

　　为进一步丰富内容，保证评测的标准性、一致性以及权威性，头豹研究院与沙利文拟计划于1月10号上午10点召开“AI大模型评测说明会“，诚挚邀请各相关单位企业以及行业专家参会。

　　所有转载不得对原文进行任何篡改、曲解、诠释和改编。沙利文保留对所有原创文章的版权及解释权。如有违反，沙利文保留依法追究相应法律责任的权利。

　　全球增长咨询公司，弗若斯特沙利文（Frost & Sullivan，简称“沙利文”）融合全球63年的咨询经验，26年来竭诚服务蓬勃发展的中国市场，以全球化的视野，帮助超10,000家客户加速企业成长步伐，助力客户在行业内取得增长、科创、领先的标杆地位，实现融资及上市等资本运作目标。

　　沙利文深耕全球资本市场及企业咨询服务，通过首创的“全域投资管理 (Total Investment Management, TIM）”为企业提供全方位的投融资及其他各类专业咨询服务，包括投融资CDD、估值服务、技术顾问、财务顾问、ESG、募投可研、债券发行行业顾问、行业顾问、评估服务、奖项服务、行业白皮书、战略及管理咨询、规划咨询、技术洞察等。

　　沙利文大中华区的投融资业务实现了对中国国民经济的全行业覆盖，包括对新经济、新基建等所有经济热点的高度关注，涵盖生物医药、消费零售、互联网及科技、人工智能、娱乐传媒、金融服务及金融科技、双碳环保、机械制造、能源电力、地产物业、矿产资源、基础设施、汽车出行、物流运输、轨道交通、船舶航运、航空航天、农林牧渔、工业材料、建筑工程、教育培训等。

　　沙利文团队为企业领袖及其管理团队开展投融资顾问咨询服务以来，已帮助近千家公司成功在香港及境外上市，是国内投融资战略咨询领域的领军企业。近10年来，沙利文连年蝉联中国企业赴香港及境外上市专业行业顾问市场份额第一名的领导地位；且近年来，沙利文报告也被广泛引用于业内领先的A股、科创板等上市公司的招股文件、一级和二级市场研究报告及其他资本市场公示文件中。

　　63年以来，沙利文通过其遍布全球的近50个办公室，利用强大的数据库和专家库、运用丰富的专业知识和咨询工具，帮助大量客户（包括全球1000强公司、国内外顶级金融机构以及其他各类领先企业等）完成了包括但不限于尽职调查、估值分析和第三方评估工作等工作，达成了战略目标；创立市场地位确认体系，首创“FSBV沙利文品牌价值模型”，已向超500家企业提供市场地位确认及品牌估值服务，持续助力大量中国品牌共赴增长未来。