文心一言-百度发布的知识增强大语言模型

文心一言-百度发布的知识增强大语言模型

所属分类:人工智能

官方网址:https://yiyan.baidu.com/

SEO查询: 爱站网 站长工具

-- -- 0

站点介绍

文心一言(英文名:ERNIE Bot)是百度全新一代知识增强大语言模型,文心大模型家族的新成员,能够与人对话互动,回答问题,协助创作,高效便捷地帮助人们获取信息、知识和灵感。文心一言是知识增强的大语言模型,基于飞桨深度学习平台和文心知识增强大模型,持续从海量数据和大规模知识中融合学习具备知识增强、检索增强和对话增强的技术特色 [5] [38] [43-44] [46] 。

2023年3月16日,百度开启文心一言邀请测试。 [46] 文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。

2023年5月,百度文心大模型3.5版本已内测可用。 [74] 在基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等方面创新突破,取得效果和效率的提升。

2023年8月31日,文心一言率先向全社会全面开放。 [76] 9月13日,百度发布文心一言插件生态平台“灵境矩阵”。 [91] 文心一言面向全社会开放至百度世界2023召开,40多天的时间,文心一言用户规模已经达到4500万,开发者5.4万,场景4300个,应用825个,插件超过500个。

2023年10月17日,百度世界2023大会上,李彦宏宣布文心大模型4.0正式发布,开启邀请测试。文心大模型4.0是迄今为止最强大的文心大模型,实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上都有着显著提升。

研发历程

2010年,百度开始布局自然语言处理、机器翻译领域的研究 [80] ;同年,百度自然语言处理部成立,开始全面推进自然语言处理技术的发展 [81] 。

2013年,百度成立深度学习研究院,由深度学习领域的著名专家吴恩达担任主任 [82] 。

2016年,百度于百度世界大会上,宣布开放百度深度学习平台飞桨,并开放了语音识别、图像识别等人工智能技术的API接口,供开发者使用 [84] 。

2017年3月2日,由百度牵头组建“深度学习技术及应用国家工程实验室”正式成立 [83] ;3月22日,百度宣布进一步深度整合包括NLP、KG、IDL、Speech、Big Data等在内的百度核心技术,组成百度AI技术平台体系(AIG),并任命百度副总裁王海峰为AIG总负责人 [82] 。

2019年3月,百度正式发布“ERNIE”人工智能系统,该系统基于PaddlePaddle深度学习平台打造,能够进行自然语言处理、语音识别、图像识别等操作;7月31日,ERNIE 2.0预训练模型发布 [85] 。

发布历程

2023年2月7日,百度官宣文心一言(英文名: ERNIE Bot)将在三月份完成内测,面向公众开放。据了解,百度CTO王海峰任项目总指挥,其他带队高管还包括:百度集团副总裁吴甜(同时担任深度学习技术及应用国家工程研究中心副主任)、百度技术委员会主席吴华等人。 [3] [21]

2023年2月13日,百度消息,文心一言3月和大家正式见面 [4] 。

2023年2月17日,在2023 AI+工业互联网高峰论坛上,百度智能云宣布“文心一言”将通过百度智能云对外提供服务,率先在内容和信息相关的行业和场景落地。百度集团执行副总裁、百度智能云事业群总裁沈抖表示,“文心一言”是基于百度智能云技术打造出来的大模型,它将根本性地改变云市场的游戏规则,云服务将从数字时代跃迁到智能时代。 [19]

2023年2月22日,李彦宏在发给百度全员的财报信中重点介绍了百度将在三月份推出的生成式AI产品文心一言,宣布计划将多项主流业务与文心一言整合,将帮助百度增加用户粘性。 [32-33]

2023年3月13日消息,百度将于 3 月 16 日 14:00 在北京总部召开新闻发布会,主题围绕“文心一言”。百度官方表示,其让文心一言写了一封发布会的邀请函。 [42]

2023年3月16日,百度正式发布大语言模型、生成式AI产品“文心一言”,百度 CEO李彦宏表示:“生成式AI代表着新的技术范式,是任何企业都不应错过的大机会。”李彦宏说,“这段时间不断有人问我,为什么现在发布,你们是不是真的ready了?其实,百度在过去十几年中持续在AI研发上坚持投入,文心大模型第一个版本2019年就发布了,此后的每一年都发布一个新版本,从这个意义上说,文心一言的发布只是我们过去多年努力的一个自然延续。” [1] [43-44] [47]

2023年3月20日,百度官微消息文心一言云服务将于3月27日上线。 [54]

2023年3月23日,百度官微发文回应对文心一言文生图功能的相关反馈,一、文心一言完全是百度自研的大语言模型,文生图能力来自文心跨模态大模型ERNIE-ViLG。二、在大模型训练中使用的是互联网公开数据,符合行业惯例。 [59]

2023年3月24日消息,百度官方发布声明,坚决谴责并严禁任何形式的测试账号转让、贩卖及各类利用测试账号牟利的行为,并已展开全面核查。 [64]

2023年3月27日,百度文心一言升级,企业级大模型服务平台“文心千帆”发布。 [62]

2023年4月,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰再次做客CCTV-2 《中国经济大讲堂》,阐释文心一言这类大语言模型的产品能力、技术原理和产业价值。 [66]

2023年4月17日,文心一言在百度内部全面应用在智能工作平台“如流”。 [67]

2023年4月,从25日举行的百度智能云文心一言技术交流会获悉,文心一言开启内测一个月以来,已完成4次技术版本升级,大模型推理成本降为原来的十分之一。在企业服务方面,3月底开始,百度智能云大模型平台启动首批企业内测,未来将针对不同客户和开发者的需求,提供公有云服务、私有化部署两种服务模式。百度智能云的六大智能产品系列,也将基于文心一言全面升级,未来将在安全评估完成后上线。 [68]

2023年4月21日消息,文心一言在百度内部全面应用在智能工作平台“如流”。据了解,百度已经为全体员工开通使用。 [72]

2023年5月4日,文心一言内测一个多月,完成了4次大的技术升级,大模型推理成本已降到原来的十分之一,推理性能提升近10倍。 [69]

2023年5月,百度首席技术官王海峰在中关村论坛中演示了“文心一言”尚未公开上线的通过文本生成视频功能、智能总结聊天记录功能、智能编程功能。“飞桨”与“文心”联合优化,近 1 个多月推理性能提升 10 倍。 [71]

2023年6月6日,文心大模型技术交流会第五站落地成都。 [73] “文心一言-Turbo”高性能模式正式开放邀测,在满足同样客户需求的情况下,推理服务整体性能提升50倍。 [73] 6月20日消息,百度文心大模型3.5版本已内测可用,实测得分超ChatGPT。 [74]

2023年7月3日,百度文心一言App已在苹果App Store上架,用户可免费下载安装。 [75]

2023年8月16日,文心一言发布五个原生插件:百度搜索、览卷文档(基于文档的交互)、E言易图(数据洞察图表生成)、说图解画(基于图片的交互)、一镜流影(文字转视频),并发布百度如流“超级助理”。同时面向开发者正式推出AI Studio星河大模型社区、插件机制以及文心大模型“星河”共创生态计划。据介绍,文心一言目前可以支持一次同时使用3个插件,不但扩展了大模型能力边界,也更适应场景需要 [88] 。

2023年8月31日,百度生成式人工智能产品文心一言正式向公众开放服务。 [76-77]

2023年9月13日,百度集团资深副总裁、百度移动生态事业群组(MEG)总经理何俊杰,在百度联盟大会上发布文心一言插件生态平台“灵境矩阵”,向开发者开启邀测,并提供百亿流量、亿元基金等激励措施,扶持插件生态建设。 [90]

2023年9月13日,北京百度网讯科技有限公司“文心一言软件” 著作权获登记批准,当前版本号为V1.0.0。“文心一言”为百度AI大语言模型。 [92]

2023年9月18日晚,文心一言大语言模型作为科技创新成果代表登上《新闻联播》。 [93]

2023年10月17日,在百度世界大会上,百度创始人、董事长兼首席执行官李彦宏宣布文心大模型4.0正式发布,同步开启邀请测试。 [94]

2023年10月30日,百度文心一言专业版开启邀测活动,点此进入官网,每日早上 9 点开始申请,名额有限,领完即止。如成功获得邀测名额,官方将在当日发送短信通知,邀测权限将直接发放至账号,可体验文心大模型 4.0。邀测权限自邀测名额发放之日起 30 天内有效。活动时间:10 月 28 日-31 日。 [97]

2023年11月1日,文心一言正式上线会员服务。文心一言官网显示,会员连续包月费用为49.9元,而单月购买为59.9元。此次会员服务对应的是文心大模型4.0,而文心大模型3.5仍可免费使用。

主体功能

百度文心一言定位于人工智能基座型的赋能平台,将助力金融、能源、媒体、政务等千行百业的智能化变革,最终“革新生产力工具” [50] 。文心一言有五大能力,文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。 [45]

文学创作

在文学创作场景中,“文心一言”可根据对话问题把文学作品的核心内容进行了总结,提出续写作品的建议角度。对于新兴的文学作品衍生版本,“文心一言”能够回答相关事实性问题 [86] 。

商业文案创作

就商业文案创作而言,“文心一言”能够满足为公司起名、写slogan、写新闻稿等的要求 [86] 。

数理逻辑推算

以“鸡兔同笼游戏”为例,“文心一言”在满足理解题意、罗列解题思路并得出正确答案的基础上,还能辨析题目本身是否正确 [86] 。

中文理解

在中文理解能力方面,“文心一言”能够正确解释成语的含义及其对应的理论知识,并能够根据给定成语创作藏头诗 [86] 。

多模态生成

“文心一言”能够生成文本、图片、音频和视频,甚至能够生成诸如四川话的方言语音 [86] 。

模型升级

文心大模型 4.0对比基础模型优势

文心大模型4.0是迄今为止最强大的文心大模型,实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上都有着显著提升。其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。 [96]

在理解能力方面,解决复杂任务能力有显著提升,能够处理更精细的多个指令;

在生成能力方面,风格文案创作表现更佳,可以输出多种用户期望的风格文案;可更为精准的遵循用户中长文本字数限制输出要求;

在逻辑能力方面,能够解决较为复杂的推理问题、代码解释更加准确完善、能够处理更加复杂的错误调试,错误识别更加精准;

在记忆能力方面,具有更长的上下文记忆能力,能够更好的保持当前对话任务。

在识别思维陷阱能力方面,有显著提升,能成功避开问题中较为隐蔽的思维陷阱;

在综合分析能力方面,能更准确地结合外部知识与给定信息进行综合分析,具有更强的概念辨析、比较分析、归纳提炼、原因分析等能力。

可处理更复杂的多任务复合型文本;有更强的、丰富的角色带入能力。

文心大模型4.0在多个关键技术方向上进一步创新突破。在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了大模型的稳定高效训练。建设了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,充分释放数据价值,大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优,有效节省了训练资源和时间,加快了模型迭代速度。

文心4.0在输入和输出阶段都进行知识点增强。一方面,对用户输入的问题进行理解,并拆解出回答问题所需的知识点,然后在搜索引擎、知识图谱、数据库中查找准确知识,最后把这些找到的知识组装进prompt送入大模型,准确率好,效率也高。另一方面,对大模型的输出进行反思,从生成结果中拆解出知识点,然后再利用搜索引擎、知识图谱、数据库,以及大模型本身进行确认,进而对有差错的点进行修正。

在强大的基础大模型的基础上,百度进一步研制了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,自主完成复杂任务,在环境中持续学习实现自主进化。


相关推荐

  • 讯飞星火认知大模型-AI大语言模型-星火大模型-科大讯飞

    讯飞星火认知大模型-AI大语言模型-星火大模型-科大讯飞

    AI大模型正在全球掀起新一轮的技术革命与商业浪潮,从技术突破到应用落地,加速改变着我们的生活与产业。依托通用人工智能领域的持续深耕和系统性创新,科大讯飞于5月6...

  • 通义千问-一个专门响应人类指令的大模型

    通义千问-一个专门响应人类指令的大模型

    看淘网是致力于中高端时尚群体的生活消费娱乐导向的垂直女性门户,提供美容美白、减肥瘦身、娱乐八卦等资讯。

  • 文心一言-百度发布的知识增强大语言模型

    文心一言-百度发布的知识增强大语言模型

    文心一言(英文名:ERNIEBot)是百度全新一代知识增强大语言模型,文心大模型家族的新成员,能够与人对话互动,回答问题,协助创作,高效便捷地帮助人们获取信息、...

微信二维码