中国自主芯片对标NVIDIA 功耗只有35W!2年就开发出来了

中国芯片,再添一股新势力——国内首款存算一体智驾芯片,正式发布!这款12nm芯片名叫鸿途H30,从性能表现上来看,在功耗仅为35W的情况下,最高物理算力可达256TOPS。

概括来说就是,芯片性能提升了2倍以上,但功耗却减少了超50%。这一点,以Resnet50性能功耗为例,与国际芯片巨头英伟达主流产品做对比即可一目了然。

S65bfe728-83c8-429e-b635-8afb3c73b0a1

不过有一说一,除了“国内首款存算一体智驾芯片”之外,围绕鸿途H30所体现的“业界第一”还不仅于此。它的问世也成为了存算一体大算力芯片在国内的首次工程化落地。而打造鸿途H30背后的公司后摩智能(下文简称后摩),其自身也拥有着一个“业界第一”的标签——

国内首家存算一体大算力AI芯片公司。更重要的是,以上种种的成绩,后摩是从自2020年底成立至今,仅仅花费2年多的时间“解锁”。如此速度和效能之下,也令活动现场掌声不断。

Sc691bbe4-c333-40f9-b5f6-2eae8116bd2b

不只是一颗芯片这么简单

我们进一步再来深入了解一下这款存算一体架构芯片。许多了解芯片的小伙伴在看到“256TOPS”时,就会产生疑问:市面上不是已经有很多能够达到这个算力值的芯片了吗?

我们需要注意的是,鸿途H30亮出来的是物理算力,并非是市面上常说的稀疏虚拟算力。这也就意味着它一举成为了国产智驾芯片里物理算力最大的那一个。

更难能可贵的是,在拿下最大算力的同时,功耗正如我们刚才提到的,仅为35W。如此看下来,芯片的能效比便是几倍于同类的产品了。

S7768333f-1f6b-427c-84c2-107aa18c0f57

除此之外,在活动现场,后摩对鸿途H30更多的细节参数做了展示:

12nm工艺

支持外扩Memory,宽带达128GB/s

支持16路FHD Encoder/Decoder

支持PCIe 4.0,x8,x4,x2,RC&EP mode

……

S28b8c218-cfa3-4d7f-a069-0fded4c7102b

性能指标方面,鸿途H30与英伟达产品相比,在Resnet50 Batch=1和Batch=8上,分别达到了5.7倍和2.3倍。

Sbedf711a-7581-44c9-9b70-f425780ff41c

计算效率方面,鸿途H30更是拿下了11.3倍和4.6倍的成绩!

Scb34f36f-c164-46c0-8997-6d8c973f9517

那么具备如此高性能存算IP,如何能将其利用到位,便涉及到AI处理器架构和设计的问题了。

在活动现场,后摩将其背后的架构设计毫无保留地展示了出来——IPU(Intelligence Processing Unit)。

S49f93335-275e-452a-81e9-38d594f0ea87

从整体来看,后摩在架构设计上的规划采用了“三步走”的策略。

首先便是第一代IPU天枢架构,这是专门为自动驾驶所打造的IPU,而刚才我们提到的鸿途H30正是基于此。

谈到这个架构是如何设计出来的,就不得不先提一下以往芯片的设计架构。

例如特斯拉FSD的集中式计算,就是非常典型的通过堆积大量计算资源来提高性能。

它就像是一个四合院,院子里啥都有,主人们在院子里可以尽情沟通交流,但问题也非常明显,就是四合院的面积就只有那么大,居住者数量就是有限的。

后来也有人提出了分布式计算的方法,把算力很大的核拆分成若干个小核;这些小核可以独立完成小任务,也可以共同完成大任务。

这种方式像是现代高层公寓,每层楼都有独立的基础生活功能,也可以方便复制和扩展;但问题是每层楼之间的沟通比较困难。

S2f0b247f-2d9e-4a2d-952f-ff9fc24cc172

因此,后摩智能的天枢架构所采用的便是二合一的思路——结合古典中式建筑和现代高层建筑。

简单来说,每个芯片都包含4个IPU核;每个IPU核又有4个Tile;而每个Tile内部还有CPU、张量引擎、特殊功能单元、矢量处理器和多通道DMA等。

这样的架构使得AI计算不但不用在多个处理器(例如CPU,GPU,DSP)之间分配任务,甚至不用出AI核,就可以高效的完成全部端到端的计算。

这种架构还可以说是像一个综合办事大楼,走进去,一站式完成各种业务,大幅提高了效率。

S5fc697e9-3161-48b1-bb45-35850671391d

总结来说,天枢架构的特点之一就是多核/多硬件线程实现计算效率与算力灵活扩展的平衡。

除此之外,它还可以摆脱系统总线的桎梏,其双环拓扑专用总线可以实现灵活的数据直传。

就像在多层空中四合院之间,建了个直接入户的电梯,可以快速做到传输。

S3be8d9d3-5d3f-418b-8ed7-56b23efbf551

至于后摩在未来要进一步研发的天璇架构和天玑架构,则将聚焦在扩大模型应用边界和通用人工智能。

在现场,后摩也展示了搭载鸿途H30后无人小车上路的实测。

但如果你觉得后摩仅仅是拿出来了一块芯片,那就有点too simple了些。

在如此短促的研发时间里,它还一口气发布了力驭域控制器和后摩大道软件平台。

力驭是后摩面向智能驾驶市场的大算力域控制器产品,据悉,只需要搭载单颗鸿途H30,便可以满足智能驾驶多种传感器、从L2到L4所有AI计算的需求。

S0593187b-4046-460d-8261-21ae56b408b3

最后,还有一个后摩大道软件平台,是为鸿途H30芯片产品开发的AI软件开发平台。

它的作用便是可以让客户在使用后摩存算一体架构产品时,能够将开发、调试和部署应用的效率大幅提高。

以上便是后摩第一次正式亮相所给出的主要“作业”了。

通过各种数据和效果的对比展示,其在大算力国产智驾芯片的实力可见一斑。

但更令人惊叹的,还应当属“后摩速度”——一切都在2年多时间完成。

如何在2年时间“炼”成的?

不同于美国创业公司从车库、大学宿舍开始的那般浪漫与理想,后摩的创业起点非常出乎人们的意料——沙县小吃。

没错,正是在这种享受馄饨与热汤之际,几个人一拍即合,决定创业搞AI芯片。

不过赛道锁定在芯片,除了大环境的因素之外,也与小伙伴们每个人都向往“万物智能”的生活相关。

例如有人家住得特别远,若是自动驾驶成熟了,便可以边通勤边办公;还有人非常顾家,希望有个机器人把家务全包了……

那么问题来了,到底什么样的芯片才能做到无处不在、让万物实现智能?

极致的效率,毋庸置疑是非常关键的因素之一。

然而当时后摩的初创团队从科技发展历史看清的一个事实是,每1000倍的效率提升将造就一个计算时代。

Sf26a0958-cb3a-4ff2-8fdd-d6b38bbe4759

若是想要达到他们理想的万物智能世界,那么算力起码也得是现今芯片计算效能的1000倍。

加之摩尔定律的逐步失效,他们便将目光聚焦到了另一种打法——换架构,搞存算一体。

团队坚定认为,这就是后摩尔时代下的破局之道:

算力得大,功耗要低,面积要小,成本还得廉。

以至于CEO吴强在现场这般回忆道:

我们太喜欢这个方向了,连公司名字都是从这而来——后摩智能。

(虽然也有人会打电话问是不是做摩托车的……)

不过讲真,存算一体这个技术在两三年前并没有像现在这般火爆。

可以说后摩成为了最早一批尝到红利的公司,也顺理成章地使其成了国内第一个搞存算一体大算力AI芯片的公司。

而之所以会将第一个落地场景放到自动驾驶,用吴强的话来说就是,“自动驾驶是万物智能美好生活的重要组成部分,人们几乎在花1/8清醒时间在开车”。

并且自动驾驶作为“集AI技术大成者”的领域,能啃下这块硬骨头,那么再拓展到其它领域也就会轻松很多。

赛道、方向、技术,在创业初期三大最重要的关键因素定下来之后,接下来就是进入更煎熬的研发阶段了。

虽说是煎熬阶段,但有一说一,对于后摩团队来说,或许都已经是驾轻就熟的事情,因为公司聚集了一帮芯片“老手”。

例如创始人吴强,博士毕业于普林斯顿大学计算机博士学位,研究方向正是高能效比计算芯片及编译器。

毕业之后,他还先后工作于Intel、AMD、Facebook等国外知名企业;值得一提的是,在AMD期间曾担任GPGPU/OpenCL创始团队核心成员。

吴强不仅拥有国外的工作经验,在2017年回国之后,也是在国内AI知名独角兽企业担任技术副总裁和CTO等职务。

在学术方面,吴强曾获第38届计算机体系架构顶会MICRO-38 唯一的一个最佳论文奖;科研成果被美国业内杂志IEEE Micro 评选为年度最有影响的12 个科技成果之一。

S697024f0-6f4d-4b41-b35c-810b21a41c9c
△后摩智能创始人兼CEO,吴强

再如后摩智能联合创始人、芯片研发副总裁陈亮,本硕博毕业于清华大学,曾任海思CPU芯片资深架构师、地平线AI芯片首席架构师。

在做产品上,后摩联合创始人、产品副总裁信晓旭,具有15年以上计算芯片产品、市场和销售经验,曾任海思计算芯片产品总监。

S337fbc92-b55b-4e88-be8e-3fdfdaef76d7
△左:陈亮;右:信晓旭

而从后摩整体研发团队构成来看,硕、博士占比70%以上;核心成员均主导过多颗世界级芯片的设计量产,类别涵盖GPU、CPU、高性能车规级AI芯片等。

更重要的是,用吴强自己的话来说,后摩的研发团队人员都是非常纯粹的人,肯吃苦、够努力。

如此来看,也就不难理解为什么能够在2年多的时间里,将存算一体芯片从0到1开花结果了。

芯片的“后摩时刻”已至

虽然芯片产品已经发布、量产,但最后我们还需要对一个问题做深入的探讨——存算一体,是否真的是正确的方向。

要回答这个问题,我们还需先得知道芯片算力的发展出了什么问题。

无论是计算机、手机,还是智能手环等产品,它们内部程序运行机制都绕不开一个著名的计算体系,冯·诺依曼体系结构。

Saa222e7e-e8cd-4133-b4a7-66946309de9d

它的一个特点,就是计算和存储是分离的。

若是通俗一点理解,我们可以将这个过程视为在厨房炒菜:

存储器:相当于厨房里的冰箱;

数据:相当于冰箱里的菜;

计算器:相当于洗菜、切菜和炒菜。

那么要完成一道菜,就需要先从冰箱里把菜取出来,再去厨房里洗、切、炒。

c0901ba3e5b04127aaa0e8b13e5897c4

那么问题来了,这些菜需要在存储器和计算器之间疯狂地做搬运工作,这就无形之间产生了巨大的时间开销,

若是对于较低的计算量来说,冯·诺依曼体系结构尚且还可处理,但谁能想到,在信息数据量爆炸的当下,人们对算力的需求会变得如此之大。

举个例子,若是用全卷积网络处理一张分辨率为224×224大约5万像素的图片,需要的计算量为5×109次的计算。

这个任务若是放在一个CPU核心上处理,需要足足3秒钟的时间,慢,着实太慢!

单单是这么简单的任务尚是如此,近年来随着AIGC热潮的到来,大模型成为了产学界的香饽饽,而动辄需要对上千亿参数做训练推理,需要的算力之大可见一斑。

即便现代很多芯片开始设计更复杂的多级存储结构,例如把SRAM(静态随机存储器)作为距离计算单元最近的缓存,保证最高的读写速度,但容量还是非常的有限。

例如在下图英伟达GA102 GPU中,蓝色方块区域便是缓存区域,即便看上去占了不少空间,但其实容量也就6MB而已。

这在当今主流AI任务面前,简直是大巫见小巫了。

S02eece96-de55-4847-be2e-259845f5ef13

这,就是当下算力发展所遇到的致命瓶颈。

而且就过去二十年的发展来看,处理器性能以每年大约55%的速度提升,但内存性能的提升速度每年只有10%左右。

存储速度长期滞后于计算速度,因此就导致了芯片性能难以满足AI需求的情况。

不仅如此,近年来“摩尔定律即将失效”的声音也是此起彼伏,很多人认为传统的芯片无法再胜任新的大算力任务了。

虽然业界在后来提出了GPU、多核CPU等解决方案,但依旧是无法绕开冯·诺依曼体系结构最为致命的瓶颈问题。

在如此情况之下,业界便提出了更为大胆的想法——干脆把冰箱和厨房搞到一起,让取菜、洗菜、切菜和炒菜都在一个空间里完成——即,存算一体。

dc27f9a6e6e94129aea5d7695ef0528f

对应到芯片设计,就意味着把分开的计算单元和SRAM单元重新设计,把乘加单元打散并插入到SRAM阵列当中,以此形成新的存算单元。

如此一来,每个存算单元既保留了SRAM本身的规则性,便于高速读写;又扩充了并行计算功能,实现高能效计算。

6ab9c63700dd45c884c9da67515cec13

以后摩发布的鸿途H30为例,在存算一体架构之下,便可以在每秒计算超过4×1012次。

S4bac0513-d438-45fb-ab02-2345e7884201

和其它AI芯片相比,后摩存算一体的宏单元在同样能耗下提供的算力,可以直接飙升10倍!

S4ebd737e-ef9d-4a4e-8826-e9affdb9bafa

但其实存算一体技术早在2011年就引起学术界关注,而后在2016-2017年成为学术界热议的话题。

到2019年逐渐开始受到工业界和资本的关注,彼时大家的讨论主要集中在这项技术的可靠性上。

从2020年开始,越来越多的玩家进入这个市场,并且大公司都开始在存内计算上发力,此时的存内计算已成为产业界“不得不跟进”的技术之一,大家的讨论聚焦在存内计算未来的市场空间上。

再从市场规模角度来看,量子位在《存算一体芯片深度产业报告》中曾经预测:

2030年,基于存算一体技术的大算力芯片市场规模约为67亿人民币。

由此可见,不论是从技术亦或是市场的发展和预测来看,存算一体确实是解决算力瓶颈的一大利器。

而作为率先入局的后摩智能,也给出了自己的观点:

存算一体的价值在于,它是一种比传统架构更接近人脑的计算方式,能达到远超传统方式的高计算效率,和智能驾驶终局的需求天然吻合。

2023年,会是存算一体商业落地的元年。

至此,对于芯片算力的瓶颈,后摩智能已经给出了自己的一套打法,并且已经交出了一份高分作业。

站在现今后摩尔时代的当下,或许芯片的“后摩时刻”已经到来。

本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除,不承担任何侵权责任。转转请注明出处:https://vip.xdyinyueqf.com/5486.html

(0)
上一篇 2023年5月11日 下午11:08
下一篇 2023年5月11日 下午11:11

相关推荐

  • 看到快递单全朝上 老板果断报警 两名快递员被抓

    看到快递单全朝上 老板果断报警 两名快递员被抓 有客户向老李反映,有多名网店买家投诉称接到诈骗电话,怀疑个人信息被泄露。 老李通过电商管理系统和视频监控对内部员工进行排查,没有发现异常情况。随后又对员工的工作电脑进行检查,也没有发现被黑客入侵的情况。 到底是谁泄露了买家的个人信息? 仓库一区域快递单全都一面朝上 老板起疑去查看发现2个人蹲在角落 为了找出“黑…

    2023年5月16日
    820
  • 知情人士:特朗普可能会在11月14日宣布参选下届美国总统

    知情人士:特朗普可能会在11月14日宣布参选下届美国总统 #特朗普或于11月14日宣布参加大选#知情人士日前向美国媒体透露,美国前总统特朗普的高级助理一直将11月的第三周视为特朗普启动2024年总统竞选的理想时间。他可能会在11月14日正式宣布参选。 据美国有线电视新闻网(CNN)11月4日报道,其中一名消息人士称,特朗普的团队专门讨论了11月14日作为正式…

    2023年4月29日
    830
  • 女子做洗碗工月薪1600引共鸣,凭自己的劳动赚钱不丢人

    女子做洗碗工月薪1600引共鸣,凭自己的劳动赚钱不丢人 近日,河南一女子在自己宝宝所在幼儿园,找到了洗碗工工作,找到这份工作的她很是激动,一是在自己宝宝的幼稚园工作,二是能靠自己赚到一点钱。这引发了全职妈妈们的共鸣。因为女人在带孩子的过程中一直没有收入,是现在所有宝妈们都面临的现状。 要工作,就带不了孩子,带孩子,就没有时间赚钱。大部分女性都只能二选一,在孩…

    2023年5月16日
    1050
  • 外媒:韩国男团演唱会上,有30人因粉丝推挤致30人晕厥,当晚演出被叫停

    外媒:韩国男团演唱会上,有30人因粉丝推挤致30人晕厥,当晚演出被叫停 #韩男团演唱会上粉丝推挤致30人晕厥#据《首尔新闻》5日报道,当地时间4日晚,韩国SM娱乐公司所属男团NCT 127在印尼雅加达举行演唱会期间,因粉丝在现场互相推搡而发生坍塌并引发骚乱。报道称,当时有30名观众当场晕倒,被紧急送医。幸运的是,没有人受伤。但出于安全考虑,当晚的演出被迫中断…

    2023年4月29日
    1030
  • 科技股“寒流”难以阻止美股反弹,资金涌入市场打压美联储“软化”

    科技股“寒流”难以阻止美股反弹,资金涌入市场打压美联储“软化” #科技股“寒流”难阻美股反弹,资金抢跑入场压制美联储“放软”#随着美联储11月会议的临近,尽管市场普遍预期将连续第四次加息75个基点,但美国股市并没有像前几次那样出现恐慌性跳水。在三大股指连续两周录得新高后,道指正在走向历史上最好的10月。联邦基金利率期货显示,年底加息的预期已经降温,基金押注美…

    2023年5月3日
    890