86

OpenAI自研芯片,有何独特之处?

a_632023-10-09 13:54:59   来源:投资界  阅读量:8384   

近日,路透社报道称OpenAI正在考虑自研芯片。根据报道,自从去年开始,OpenAI已经开始在为人工智能模型训练芯片缺货的问题开始考虑对策,而目前正在积极准备自研芯片以满足未来对于人工智能芯片的需求。事实上,不久之前OpenAI的CEO Sam Altman曾公开表示Nvidia GPU缺货对于OpenAI以及整个人工智能行业都存在着很大的影响。另外,从今年开始OpenAI开始招募硬件相关的人才,官方网站上有数个软硬件协同设计的职位在招聘,同时在今年九月OpenAI还招募了人工智能编译器领域的著名牛人Andrew Tulloch加入,这似乎也在印证OpenAI自研芯片方面的投入。OpenAI官方对此事拒绝发表评论,但是如果这件事最后落地的话,OpenAI将会是继谷歌、亚马逊、微软、特斯拉等之后有一个加入自研芯片行列的硅谷科技巨头。

1、OpenAI为什么要自研芯片

如前所述,OpenAI自研芯片的主要动力是因为GPU缺货。更具体地说,是因为无论是购买Nvidia的GPU,还是使用基于GPU的云服务,价格都太贵,尤其是考虑到OpenAI未来模型训练需要的算力可能还会指数级提升。

OpenAI从数年前开始就布局生成式人工智能,而在去年的GPT-3以及去年下半年的ChatGPT公布后,由于这些生成式大语言模型的能力在过去数年内得到了大幅提升并且到达了可以和人类实现有意义的对话的地步,OpenAI一举成为了人工智能领域的领头羊,而生成式人工智能也成为了预计未来几年内对于人类社会影响*的技术。根据路透社的报道,OpenAI去年录得收入2800万美元,而总体亏损为5.4亿美元;而OpenAI巨大的亏损背后,主要原因就是由于算力开销。值得注意的是,5.4亿美元的损失还是在生成式人工智能火爆前夕的2022年;在未来算力开销可望会指数级提升,这主要由于:

大模型竞争更激烈,模型进化速度变快,需要的算力快速提升:除了OpenAI之外,谷歌等科技巨头也在力推自己的大模型,这使得大模型的进化速度显著变快,未来预计一个季度到半年就要更新一代,而最尖端模型需要的算力估计每年都会上升一个数量级

大模型应用场景变得更广:目前,微软和谷歌已经在搜索和代码编写领域开始使用大模型,预计在未来会有更多的大模型应用场景,包括自动任务处理、多模态问答等等,而这些会让不同的模型数量大大提升,同时也大大提升了模型部署需要的总算力。

根据美国金融公司Bernstein的分析,如果ChatGPT的访问量达到谷歌搜索十分之一的水平,那么每年OpenAI的GPU开销将达到160亿美元。而这样的开销,可能是未来OpenAI进一步规模化的一个重要瓶颈。

那么,OpenAI如果要自研芯片,那么将能把成本节省多少呢?目前,一台使用八卡Nvidia H100 GPU的服务器采购成本约为30万美元,加上云服务商的溢价使用这台服务器三年的总成本为100万美元左右;如果OpenAI能用自研芯片把这样的八卡服务器的成本降低到10万美元以下,将会大大降低其成本。另一方面,如果自研芯片成功的话,在大规模部署的情况下单张加速卡的成本控制在1万美元以下应该很有希望,也即八卡服务器的成本控制在10万美元之下并非遥不可及。

2、OpenAI自研芯片,有何独特之处

目前,自研芯片的科技公司已经有不少,那么OpenAI如果自研芯片会和谷歌、亚马逊等科技公司的自研芯片有什么不同呢?

首先,OpenAI的自研芯片纯粹是为了自己的模型训练使用,这一点和谷歌、亚马逊等自研芯片并且目标放在云端服务器上供客户使用的商业模型不一样。对于谷歌、亚马逊等自研芯片供云服务客户使用的场合来说,由于用户使用模型的场景并不明确,使用的软件栈不确定、具体训练的模型也不确定,因此需要在芯片设计上满足兼容性的需求,而这样兼容性的考虑往往会以牺牲每个训练任务的效率和性能为代价。相反,OpenAI自研芯片只是为了自己使用,而且训练的模型非常明确:就是以Transformer为基本组件的大语言模型,而且使用的软件栈也完全控制在自己手里,因此可以确保设计有非常高的针对性。

第二点不同在于OpenAI对于模型有非常深入的理解。OpenAI在生成模型领域是领军企业,目前GPT系列模型仍然是大语言生成式模型中性能*的模型,而且OpenAI在生成式模型领域有着多年积累,因此OpenAI对于目前生成式模型的各种设计方案有着深入的理解,这意味着OpenAI有足够的能力和积累做芯片-模型协同设计,能够根据芯片的特性去设计相应的模型,同时也可以根据模型的需求去明确芯片的设计指标,包括如何在计算单元、存储和芯片间互联之中做*化的折衷等。最关键的是,OpenAI对于未来几年的生成式大模型的路线图有着行业中最明确的规划,这意味着即使自研芯片需要数年的时间,也不用过于担心芯片真正量产后已经无法赶上模型更新的局面。从这个角度来说,OpenAI的自研芯片和谷歌以及亚马逊都有很不一样的地方,但是和特斯拉的Dojo系列自研模型训练芯片却有相似之处;而和特斯拉又不一样的是,OpenAI对于模型训练的需求显然会远高于特斯拉,而这样的自研芯片的重要程度对于OpenAI来说也会更高。

这些OpenAI的独特之处,让它有机会能实现使用非常规专用设计完成的高性能芯片。最近,Nvidia在官方博客中对于其GPU的性能提升规律做了分析:Nvidia的GPU算力在不到十年提升了1000倍,根据分析在1000倍算力提升中,计算精度的优化并且搭配专用的计算模块实现了16倍的性能提升,而芯片架构领域和编译器的协同优化又提供了12.5倍的性能提升,而另一方面半导体工艺带来的性能提升仅仅只有两倍。由此可见,在高性能计算芯片领域,算法和芯片架构协同设计(包括模型算法和编译器算法)才是主要的性能提升动力(也即Huang‘s Law),而从这一角度来说,OpenAI确实处于一个非常有利的地位,凭借着其对于算法的深刻理解,OpenAI可望可以充分利用Huang’s Law,从而在未来几年内实现高性能计算芯片的设计。

3、OpenAI自研芯片的挑战

OpenAI自研芯片除了有自己的优势之外,当然也有挑战。

OpenAI自研芯片的目标明确,就是用于大模型的高算力芯片。高算力芯片的首要挑战就是其复杂度,从芯片设计角度,高性能计算芯片中的计算单元、存储访问以及芯片间的互联都是需要仔细考虑。例如,为了能满足大模型的需求,芯片大概率会使用HBM内存;为了实现芯片的高能效比和规模化,预计会在先进工艺上搭配芯片粒等技术实现高良率;大模型通常会使用分布式计算,因此芯片间的互联就显得至关重要。这些芯片设计组件每一个都需要有相当经验的团队来实现,而把这些组件集成在一起也需要非常优秀的架构设计来确保整体性能。OpenAI如何在短时间内组建一个有经验的团队来做这些具有挑战性的设计将是一个重要的挑战。

除了芯片设计之外,如何确保软件和硬件协同工作,或者换句话说如何设计一个高性能的编译器以及相关软件生态是OpenAI的另一大挑战。目前,Nvidia GPU的一个重要优势就是因为其CUDA软件系统,经过十多年的积累后已经有很高的性能以及兼容性。OpenAI的自研芯片中,编译器系统也需要实现CUDA这样的高性能才能完全利用芯片的算力。与其他针对云服务的科技公司自研芯片不同,OpenAI的芯片主要是供自己使用,因此无需太担心生态和对于用户模型支持度的问题,但是在编译性能上也需要达到和Nvidia的CUDA接近才行。事实上OpenAI在这个领域从早些时候已经开始有投入;今年七月OpenAI公布了自己的基于开源Triton语言的人工智能模型编译方案,可以把Python代码通过编译为使用开源Triton语言的中间代码,然后再使用Triton编译器和LLVM编译器编译到PTX代码,从而可以直接在支持PTX的GPU以及人工智能加速器上运行。从这个角度看,OpenAI对于编译器的投入或许就是其自研芯片的先声。

最后,芯片的具体生产也会是一个挑战。如前所述,OpenAI大概率会使用先进工艺节点和高级封装技术来实现,因此如何确保生产的良率,以及更重要的是,如何在高级封装和先进工艺节点产能仍然有可能紧张的几年内获得足够的产能以量产,也是一个需要解决的问题。

考虑到这三个挑战,我们认为,OpenAI目前自研芯片的计划可能会是多步走。首先,在技术团队和生产问题没有完全解决前,OpenAI可以选择和微软以及Nvidia(或者AMD)合作,选择半定制化芯片,例如OpenAI提供芯片需要支持的一些指标,甚至提供一些IP,而可以和这些合作方一起把芯片设计和生产出来。而在技术团队和生产问题解决后,OpenAI可以选择大力投入自研的全定制芯片,从而完成*的性能和可控性。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

推荐阅读
“万里长城展画卷”:雄伟甘肃长城的文化纪实
资讯

11月29日,由甘肃长城长征国家文化公园建设发展研究中心推出的大型融媒体文化纪实报告“万里长城展画卷”在全网开展融媒体直播,超过83万人在线观看,取得了较好的社...

2023-12-05

关注丨12月招考月历来了!
资讯

不知不觉,时光已经来到了2023年的最后一个月,一年来的拼搏努力即将迎来收官。 12月期间,这些考试即将开始,快来确认一下最后的考试时间,为自己的辛勤付出...

2023-12-05

江苏宜兴:村级“种文化”工程实现全覆盖
资讯

自2021年以来,江苏省宜兴市通过强化组织保障、加强指导考核、引导居民参与等途径,精心实施文化服务全域联动演出。至目前,宜兴市310个村,各村都已实现至少有一支...

2023-12-05

HOTDOG与上航假期达成“元宇宙文旅战略合作”共创文旅产
资讯

10月24日,HOTDOG×上航假期“元宇宙文旅战略合作”签约仪式在上航假期公司举行,未来,双方将在未来携手开拓文旅产业与元宇宙应用场景结合的创新项目,打通虚拟...

2023-12-04

市场规模持续增长,敷尔佳联合青眼发布《2024年面膜趋势洞
资讯

2023年11月28日,国内专业皮肤护理品牌敷尔佳联合美妆行业头部媒体青眼发布了《2024年面膜趋势洞察报告》,对面膜赛道进行深度洞察,解析国内面膜行业市场规模...

2023-12-04

涟水县应急管理局:开展消防宣传月活动
资讯

今年11月份是国家消防宣传月。近期,涟水县应急管理局综合行政执法大队深入企业开展了一系列生动而深入的消防宣传活动,以提高企业职工的消防安全意识,切实增强火灾防范...

2023-12-04

“建链成群”铸成“国之重器”中国“智”造创出世界奇迹
资讯

:经济发展环环相扣,产业链、供应链是重要支撑点。从一个个零件到铸成“国之重器”,这背后需要一条完整、庞大的产业链支撑,接下来,让我们一起打开"产业链地图",感受...

2023-12-02

长庆油田清洁电力:劳动竞赛打造高质量发展“强引擎”
资讯

今年以来,长庆油田清洁电力开发项目部以“岗位建功十四五,发展实现高质量”全国引领性劳动和技能竞赛为抓手,通过“三抓三促三提升”,细化阶段目标、优化工作合力、强化...

2023-12-01

供给动迁房源4760套!上海这个区域将基本实现农民动迁上楼
资讯

11月28日,松江区小昆山镇动迁安置办门前热闹非凡,涉及1546户动迁户的分房抽签仪式举行。继前三期安置房陆续完成建设和入住后,在全国小城镇改革试点街镇小昆山镇...

2023-12-01

中国电建地产17.6亿元私募状态更新至“通过”
资讯

:11月30日,据上交所信息平台显示,中国电建地产集团有限公司2023年面向专业投资者非公开发行公司债券状态更新至通过。 据观点新媒体了解,债券的品种为私...

2023-12-01

第六届进博会光明食品集团“THESMARTCHAIN全球食
资讯

11月10日,第六届中国国际进口博览会正式闭幕。光明食品集团“THESMARTCHAIN全球食品集成分销平台”的参展也迎来了完美落幕。3655平米展台、超400...

2023-12-01

主播说联播|链博会,为何要办,为何办得了?
资讯

11月28日,首届链博会在北京开幕,它的全称是中国国际供应链促进博览会,是全球首个以供应链为主题的国家级展会。我们为什么要办链博会,又为什么办得了?点击视频 ...

2023-11-30

男子就餐突然倒地海南省人民医院护士挺身急救
资讯

林永曼紧急施救现场。 11月8日晚8点,在海口市一家餐厅就餐的何先生突然倒地,正在邻桌吃饭的海南省人民医院内分泌科护士林永曼出于职业习惯立即抢救病人,最终...

2023-11-30

济宁:加强冬季安全生产确保群众生命财产安全
资讯

济宁市各地加强冬季安全生产,围绕危化品、防范一氧化碳中毒等重点领域,扎实开展隐患排查整治,确保群众生命财产安全。 济宁高新区开展危化品企业常态化巡查,对检...

2023-11-30

境内首家,全球领先!华泰证券MSCIESG评级跃升至AA级
资讯

近日,国际权威指数机构明晟公司公布华泰证券股份有限公司(简称“公司”)最新ESG评级结果。凭借优异的ESG治理实践,华泰证券2023年MSCIESG评级从A级跃...

2023-11-30

阳光人寿宁波中支工会组织开展春季踏青活动

时值仲春、阳和初起,正是春游踏青的好时光。为丰富员工业余生活,营造和谐融洽、团结向上的工作氛围,3月23日,阳...

找到黑匣子之后,下一步做什么?专家解读

找到黑匣子之后,下一步做什么?邱超奕对于空难调查而言,黑匣子在找到后,才意味着具体工作的开始。那么,它被送往了...

这所城乡接合部的新学校,为招生曾挂过三块牌子

#8203;“上级对我提的要求,就是让寒门子弟接受更好的教育,让普通孩子上好学。”一所城乡接合部的新学校,为招...

东航坠机现场:救援人员获得飞机残骸定位信息

新京报讯据中国民用航空局消息,3月21日,东航一架波音737客机在执行昆明--广州航班任务时,于梧州上空失联。...

调研指今年就业形势基本稳定实体产业人才吸引力增加

专业人力资源机构中智公司21日发布的最新调研结果显示,2022年中国就业形势基本稳定,实体产业对人才吸引力增加...