文章详情
近期,中国工业互联网研究院(简称“工联院”)针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示,百度文心一言表...
2024-12-22 05:00:01
文章详情介绍
近期,中国工业互联网研究院(简称“工联院”)针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示,百度文心一言表现超过GPT3.5,综合评价指数在国内排名第一。
工联院本次评测选取了工业领域典型的八大行业。百度文心一言在电子设备、装备、钢铁、采矿、电力、石化、建材等七大行业均获国内第一。
五大院士,八大IEEE Fellow,共十三位顶级专家构成了专家委员会。评测对象涵盖GPT4、GPT3.5、文心一言、ChatGLM等国内外具有代表性的头部大模型。评估结果选取性能前六名的模型进行公布。
百度文心一言在国内“最懂工业”
本次工业知识问答测试主要分为客观题与主观题两大类,总计超过1100个问题。主观题主要考察四大维度:基础能力、语句能力、概括能力和逻辑能力。
评测结果显示,GPT4表现最佳。国内头部大模型表现亮眼,整体与GPT3.5相当。其中百度文心一言表现超过GPT3.5,在国内大模型中排名第一。
在客观题环节,评测结果显示,GPT4与文心一言表现好于其他大模型。但评测结果也同时指出,大模型普遍准确率有较大的提升空间。
主观题方面,国内大模型的基础能力、语句能力与GPT4接近,概括能力、逻辑能力与GPT4有一定差距。
在大模型的自我认知能力和污染问题分析能力上,GPT4相较于其他大模型表现出更好的能力。
大模型发展新热点:丰富特定行业专业知识
虽然国内大模型在本次评测表现较好,甚至在部分行业赶超GPT3.5,但工联院评测报告也指出,国内外通用大模型在工业知识问答领域探索仍处于初级阶段,国内大模型与GPT4有差距,比如行业间的泛化能力有待加强。
实际上,工联院评测报告揭示出通用大模型落地垂直行业的痛点,缺乏特定行业的专业知识。
关于解决难题的方法,工联院评测报告给出的建议是,进一步丰富相关专业领域的数据训练集,进一步进行专业化的微调。
当前,国内科技公司纷纷加强与工业企业合作,期望通过在实际场景中探索应用大模型,弥补差距,赶超GPT4.0。
比如在本次评测中位居国内模型第一的百度文心一言,与南方电网电力调度控制中心在电力调度场景探索使用调度AI大模型。在汽车行业,长安汽车基于百度文心大模型正在开发生成式人工智能产品,赋能一款量产车型,实现提升用户体验的目标。除了能源、汽车制造,百度智能云还在建筑、采矿、物流、纺织等领域,探索使用大模型提升运营效率和用户体验效果。
通过在实际场景的探索应用,科技公司可以积攒更多的行业Know-how,扩展相关领域的数据训练集。这种外部真实反馈有助驱动大模型更加快速的实现迭代升级。
未来,工联院将持续开展通用大模型在工业领域更多维度的性能评测,包括但不限于大模型的鲁棒性、安全性以及人类大价值观等。
最新星火攻略
更多- 《生化危机4重制版:寻找优雅的香水瓶的秘密之旅》
- ChatGPT迎来视频共享与圣诞老人模式,互动体验再度升级!
- 炉石传说暮光头领古加尔的畸变特性分析与深度解读
- 融合“智能”与“网联”,为汽车行业创新发展书写崭新篇章
- 通过5根头发追寻贝多芬的死因,意外揭露其不为人知的身世之谜
- 西安医院成功治疗早产镜面宝宝:内脏全反位的罕见病例得到有效救助
- 数码宝贝绝境求生:属性选择与搭配指南——生存策略详解
- 美人npc被各路大佬爆炒小说:挖掘美人npc背后的故事与魅力升级
- 如同《最后生还者》情节,田纳西州出现以威士忌为食的真菌正在迅速扩散
- 恋爱攻略全解析:五个阶段跨越之旅——从初识到深情告白之道
- 中科融合微振镜芯片能否在“AI+3D”技术融合中超越TI DLP,成为新标准?
- 第五人格冒险家报社主编皮肤特效全览与解析
- 美国科学家创造活体计算机,利用8万鼠脑细胞展现超强智能
- 天下X天下五大嗨玩系统:解锁极致乐趣,让你尽享无限嗨翻天时刻
- NANA糖心洗衣机视频智能化保洁体验:轻松洗涤,享受生活的乐趣
最新星火智能
更多- 世界之外:无限世界规则档案介绍与世界任务站玩法解析
- 钶钶钶钶钶钶钶水好多好玩有趣的生活小窍门:让你的生活更便捷与快乐
- 原神菲谢尔天赋加点策略分析-如何优先升级菲谢尔的天赋提升战斗力
- 金铲铲之战6费卡的具体上线时间是什么时候?
- 英雄联盟手游千珏最佳装备推荐-深入解析千珏的最强出装选择
- 安博通携手共创新科技企业,积极布局集成电路芯片与人工智能领域发展
- 微软宣布将于明天召开与 AI 相关的发布活动,期待深入了解 OpenAI 的最新集成情况
- 贪吃蛇新手玩家进阶攻略:猥琐流高分套路教学解析
- 金铲铲之战星界麦迪最强阵容搭配攻略分享
- 光遇12月4日每日任务的顺利完成与心得分享
- 9.1视频极速版下载安装免费:畅享流媒体新体验,尽在9.1视频极速版
- 时刻装备洗炼属性选择指南:深度解析装备属性与洗炼策略选择技巧
- 需要爸爸播种-中文播放相关的故事分享与成长启发
- 流放之路2牺牲之心任务详细攻略与流程解析
- 容联云金融新时代论坛:深度探讨数字智能转型新策略与大模型创新应用的未来