2023-03-17 15:46:04 来源:TechWeb 阅读量:15996
,百度于北京总部召开新闻发布会,主题围绕新一代大语言模型、生成式AI产品文心一言。百度首席技术官王海峰现在详解了文心一言背后的文心大模型及技术特性。
文心一言是新一代知识增强大语言模型,也是百度继文心一格之后的又一个生成式AI产品,具备对话交互、内容创作、知识推理、多模态生成等能力。
王海峰表示,新一代知识增强大语言模型文心一言,是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中已经有应用和积累,在一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是一言未来越来越强大的基础。
在知识增强方面,文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化,是从大规模知识和无标注数据中,基于语义单元学习,利用知识构造训练数据,将知识学习到模型参数中;知识外用,是引入外部多源异构知识,做知识推理、提示构建等等。
在检索增强方面,文心一言的检索增强,来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果,可以为大模型提供时效性强、准确率高的参考信息,更好地满足用户需求。
在对话增强方面,基于对话技术和应用积累,文心一言具备记忆机制、上下文理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。
“百度特有的技术,现在已经应用在文心一言上”,王海峰也坦言,技术有了,但是大模型的训练的还不够充分。不过文心大模型建立起人类反馈、奖励模型和策略优化之间的飞轮机制,随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力越来越强。
王海峰称,百度自2010年起开始全面布局人工智能,是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用,百度在技术栈的各层都有领先业界的关键自研技术,实现了层与层反馈,端到端优化。
王海峰强调,飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。对于开发训练,飞桨动静统一的开发范式,以及自适应分布式架构,可以实现大模型的灵活开发和高效训练。在推理部署方面,飞桨支持大模型高效推理,并提供服务化部署能力,包括计算融合、软硬协同的稀疏量化、模型压缩等等。文心大模型加上飞桨深度学习平台,夯实了产业智能化基座。随着文心一言与飞桨平台的进一步融合发展,人工智能技术和应用的研发将越来越标准化、自动化和模块化,加速人工智能的工业大生产,同时也反哺文心一言加速迭代进化,落地更多场景和行业。
声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。
大北农发布公告,公司控股及参股公司生猪销售数量当月合计为49.81万头,1-9月累计为416.05万头;销售收入当月合计为8.86亿元,1-9月累计为67.71...
格隆汇10月8日丨立华股份公布,2023年9月销售肉鸡4206.19万只,销售收入13.20亿元,毛鸡销售均价15.38元/公斤,环比变动分别为2.36%、5....
格隆汇10月8日丨汇宇制药公布,公司全资子公司SeacrossPharmaceuticalsLtd.于近日收到巴基斯坦药品管理局(简称“巴基斯坦药监局”)核准签...
今天是10月8日,各大金店黄金价格涨势暂歇,均价格不变,与昨日一致,还是很高。目前,金价最高的金店为周六福,不涨不跌,报价588元/克。而金价最低的金店为菜百,...
10月7日,安徽省省直住房公积金管理分中心发布《关于进一步优化住房公积金使用政策的通知》。《通知》包括住房公积金贷款、住房公积金提取等两大方面,政策自2023年...
目前,小米已经成为全球前三的智能手机厂商。该公司生产入门级、中端和旗舰智能手机,迎合广泛的用户群。但是对于小米而言,他们还需要更多的用户。近日,手机中国注意到,...
转自:经济日报 e公司讯,沪深交易所近日分别发布《关于进一步规范股份减持行为有关事项的通知》,对此前证监会发布的“减持新规”监管要求进行了细化,确定了更加...
近日,随着一声机车汽笛长鸣,装载165辆汽车的X8489次中欧班列从西安国际港站缓缓驶出,一路向西开往俄罗斯首都莫斯科。这标志着中欧班列(西安)自2013年开行...
近日,由权威财经新闻媒体《财经》杂志联合科创数据研究中心共同推出国家情怀mdash;2023科创板四周年系列评选,皖仪科技(688600)获得评委的一致认可,荣...
券商行业自2015年牛市后就一直有着牛市旗手的称号,然而回头来看,券商板块的每次异动已经逐渐不能预期指数的上涨行情。 随着指数波动下降,以及投资需求的日益增加...
炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会! 中秋国庆假期国内出行旅游市场恢复,9月PMI重返扩张区间 主要内容 国内市场...
据中国工业经济联合会消息,由国家制造强国建设战略咨询委员会指导,中国工业经济联合会联合十大全国性行业联合会(协会)、国际组织、研究机构、主流媒体等共同主办的20...
美国劳工部6日发布数据称,美国9月份非农业部门新增就业33.6万人,失业率环比持平,仍维持在3.8%。 这一数据创造了自今年2月以来的最高值。在美联储明确...
记者10月7日自辽宁省贸促会获悉,2023中国·沈阳国际汽车展览会(以下简称“沈阳十一国际车展”)6日落下帷幕。在为期六天的车展期间,现场人潮不断,展会共产生订...
时值仲春、阳和初起,正是春游踏青的好时光。为丰富员工业余生活,营造和谐融洽、团结向上的工作氛围,3月23日,阳...
找到黑匣子之后,下一步做什么?邱超奕对于空难调查而言,黑匣子在找到后,才意味着具体工作的开始。那么,它被送往了...
#8203;“上级对我提的要求,就是让寒门子弟接受更好的教育,让普通孩子上好学。”一所城乡接合部的新学校,为招...
新京报讯据中国民用航空局消息,3月21日,东航一架波音737客机在执行昆明--广州航班任务时,于梧州上空失联。...
专业人力资源机构中智公司21日发布的最新调研结果显示,2022年中国就业形势基本稳定,实体产业对人才吸引力增加...