您的位置: 首页 > 科技频道

工联院大模型测评:文心一言在工业领域表现超过GPT3.5

出处:北京商报 网编:产经中心 2023-06-28

北京商报讯(记者 魏蔚)6月28日,北京商报记者获悉,中国工业互联网研究院(以下简称“工联院”)针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测结果显示,百度文心一言表现超过GPT3.5,综合评价指数在国内排名第一。工联院本次评测选取了工业领域典型的八大行业。百度文心一言在电子设备、装备、钢铁、采矿、电力、石化、建材七个行业均获国内第一。

本次工业知识问答测试主要分为客观题与主观题两大类,总计超过1100个问题。主观题主要考察四大维度:基础能力、语句能力、概括能力和逻辑能力。评测结果显示,GPT4表现最佳。国内头部大模型表现亮眼,整体与GPT3.5相当。其中百度文心一言表现超过GPT3.5,在国内大模型中排名第一。在客观题环节,评测结果显示,GPT4与文心一言表现好于其他大模型。但评测结果也同时指出,大模型普遍准确率有较大的提升空间。主观题方面,国内大模型的基础能力、语句能力与GPT4接近,概括能力、逻辑能力与GPT4有一定差距。在大模型的自我认知能力和污染问题分析能力上,GPT4相较于其他大模型表现出更好的能力。

本网站所有内容属北京商报社有限公司,未经许可不得转载。 商报总机:010-64101978 媒体合作:010-64101871

商报地址:北京市朝阳区和平里西街21号 邮编:100013 法律顾问:北京市中同律师事务所(010-82011988)

网上有害信息举报  违法和不良信息举报电话:010-84276691 举报邮箱:bjsb@bbtnews.com.cn

ICP备案编号:京ICP备08003726号-1  京公网安备11010502045556号  互联网新闻信息服务许可证11120220001号