大语言模型意识水平测评报告显示:DeepSeek-R1语义一致性表现较好
时间:2025-03-03 12:32:21来源:科技日报
2月25日,记者从世界人工意识协会国际人工智能DIKWP测评标准委员会获悉,由该协会主导、全球10余个国家与地区的90多家机构和企业参与的《全球首个大语言模型意识水平“识商”白盒DIKWP测评2025报告(100题版)》(以下简称《报告》)日前出炉。

《报告》的核心亮点在于全球首创的意识水平测评体系。《报告》基于DIKWP模型,从数据、信息、知识、智慧、意图等方面,构建全链路评估体系。测试题全面覆盖大语言模型的感知与信息处理、知识构建与推理、智慧应用与问题解决、意图识别与调整四大模块,对主流大语言模型的意识水平进行系统化、量化深度剖析。

《报告》对当前主流的大语言模型进行了全面测评,包括DeepSeek-V3、ChatGPT-o1、通义千问-2.5、ChatGPT-4o、Kimi、文心大模型-3.5和Llama-3.1等。测评结果显示,不同模型在不同模块的表现各有千秋。

例如,感知与信息处理部分主要考察模型在处理原始数据、提取信息和保持语义一致性方面的表现。ChatGPT-4o和ChatGPT-o1在数据转换和格式处理方面表现出色,体现出稳定性。ChatGPT-o3-mini、ChatGPT-o3-mini-high、通义千问-2.5、Kimi和Grok在信息提取方面表现优异,特别是在数据到信息转化路径上的表现尤为突出。DeepSeek-R1、ChatGPT-4o、Kimi和ChatGLM-4 Plus在保持语义一致性方面表现较好。

知识构建与推理部分的测评考察模型将信息整合为知识的能力,以及逻辑推理能力。结果显示,通义千问-2.5、ChatGLM-4 Plus和ChatGPT-4o表现突出。

意图识别与调整部分的测评重点考察模型对用户意图的理解能力,以及根据意图调整输出的能力。结果显示,豆包和Gemini-2.0 Flash Thinking Experimental表现较好,能够准确理解用户的问题并提供相关回答。

标签:

生活指南
  • 【世界湿地日】 江西湿地保护率已达61.99%

    2025年2月2日,是第29个世界湿地日。2月8日,记者从省林业局举办的2

  • 存款考核变摊派 银行缘何热衷全员营销

    在监管明确要求不得将存款考核指标下达至非营销部门或个人后,仍有

  • 基金加仓和补仓的具体区别是什么?基金跌几个点补仓?

    基金加仓和补仓的具体区别是什么?1、两者的概念不同:一般来说,加

  • 专家学者共赴闽北绿色之约 探索生态资产转化

    中新网南平12月2日电 (张丽君 周季)11月29日至12月1日,第二届生

  • 2025年中国足协杯资格赛将于今年12月举行

    新华社北京11月11日电 中国足协11日宣布,2025年中国足协杯资格赛

  • 到位968624元!南召县法院强制执行一批拖欠农民工工资案

    近日,南召县人民法院执行局强制执行一批拖欠农民工工资案,为15名农民

  • 西峡县法院:“学·思”论坛第三十五期丨刑事审判实务中的重难点

    为进一步提升刑事案件审判工作质效,处理好刑事审判实务中遇到的各类重

  • 中国信通院公布2024年可信开源最新评估结果|独家焦点

    中新网北京10月17日电 (记者 刘育英)2024 OSCAR开源产业大会16日

  • 同心筑梦 杭州拱墅“新”力量助力新发展 焦点速看

    近日,浙江省杭州市拱墅区统战理论专题培训班暨党外干部党的新理论

  • 全球热消息:“世界市长对话·杭州”开启城市治理新理念对话

    9月25日,世界市长对话·杭州暨第九届杭州国际友城市长论坛在杭州举

  • 青海湖流域生态保护再升级:青海启动一体化修复工程方案编制-热讯

    近日,青海省自然资源厅组织开展《青海湖流域山水林田湖草沙一体化

  • AIGC带来崭新机遇 报告展望AI场景应用延伸|天天观热点

    中新网北京9月18日电 (记者 张素)AIGC(生成式人工智能)带来崭新机

  • 银川机场7月旅客吞吐量109.2万人次 超2019年同期水平-快资讯

    中新网银川8月2日电 (记者 李佩珊)记者2日从宁夏机场公司获悉,今

  • “清凉补贴”、暑期免佣……出行平台多举措应对夏季高温

    连日来,我国大部分地区持续高温天气。在此背景下,行车安全成为公

  • 邓州市构林镇卫生院:整治不正之风 优化医疗好环境|每日资讯

    5月16日,邓州市构林镇卫生院召开医疗领域群众身边的不正之风和腐败问

  • 全球热议:增强储气库调峰保供能力

    随着天气转暖,北方地区已经逐渐停止供暖,天然气冬季保供步入收尾

  • 民生
    • (新春走基层)海岛守护者的新春坚守:缺席是为了更好地团圆

    • 吃完这些药谁劝都别喝酒,不只头孢→

    • 2024年中国跆拳道公开赛落幕 中国队表现不俗

    • 前三季度长江经济带11省市外贸进出口总值达14.61万亿元