优游注册介绍

原创史上最快AI计算机公布!谷歌TPU V3的1/5功耗、1/30体积,首台实体机已交付

2019-12-02 13:27      点击:199

原标题:史上最快AI计算机公布!谷歌TPU V3的1/5功耗、1/30体积,首台实体机已交付

大数据文摘作品

还记得8月份占有各家科技头条的有史以来最大芯片吗?

这个名为Cerebras Wafer Scale Engine(WSE)的“巨无霸”面积达到42225 平方毫米,拥有1.2 万亿个晶体管,400000 个核心,片上内存18 Gigabytes,内存带宽19 PByte/s,fabric带宽100 Pbit/s,是现在芯单方积最大的英伟达GPU的56.7倍。

就在刚刚,在超级计算2019峰会(Supercomputing 2019 Event)上,这家备受瞩现在标硅谷初创公司Cerebras,又宣布了大新闻,公布了号称世界上最快的深度学习计算编制CS-1。

Cerebras同时还宣布,CS-1已经获得了美国当局超级计算机项现在标认可。

现在,第一台CS-1已经向美国能源部的Argonne国家实验室交付完毕,将投入处理大四周的人造智能计算题目,比如钻研癌症药物的相互作用。

尽管CS-1的性能还异国得到有关验证,但益似仍为大四周人造智能计算挑供了一栽新能够。

张开全文

专为人造智能计算设计的超级计算编制

Cerebras其实是一家刚刚成立三年的硅谷初创公司, 但倚赖几次紧张公布,现在已经融资超过2亿美元。

Cerebras主页

如此受瞩现在是由于其在人造智能芯片创造上采取了一栽迥异以去的手段——将一切数据保存在一块庞大的芯片上,以便编制更快运走。

AI编制清淡会搭载很多芯片协同做事。但这存在一个隐微题目,在芯片之间进走数据传输很慢,并且会克制芯片的分析速度。

成立之初,Cerebras就期待竖立一栽特意为深度学习优化的新式计算机,为特定的做事负载选择准确的计算机体系组织。

Cerebras外示,与其他编制相比,CS-1的每一个组件都特意针对人造智能做事优化,能够以更幼的尺寸和更少的能源消耗下挑供更高的计算性能。

CS-1高度达到26英寸(约66厘米),也许相等于一个幼的走李箱。占有关报道,一个机架中包含了1,000个GPU的集群,50千瓦的功率。单个Cerebras芯片的内核数目是单个GPU的78倍以上,内存是3,000倍,内存带宽是10,000倍,此外它还具有33000倍的带宽(PB/s)。

CS-1的侧视图

这个性能有多壮大呢?对照一下谷歌的TPU v3,CS-1功耗是它的五分之一,体积惟独它的三相等之一,但速度却是整个TPU v3的三倍。

搭载全世界最大芯片,几分钟完善传统芯片几个月的义务

Cerebras为CS-1设计了特意的编制和柔件平台, 恒达平台以从史上最大芯片WSE上的40万个计算内核和18G高性能片上存储器中挑取极限处理能力。

在人造智能计算中,芯片越大越益。更大的芯片处理新闻更快,能在更短的时间内得到训练终局。但是,仅有卓异的处理器性能还远不及够。像WSE云云的高级处理器必须与专用的柔件相结相符才干实现破纪录的性能。所以,Cerebras特意为这一巨型芯片开发了CS-1内置编制和柔件平台,各方面都为添速人造智能计算特意设计。

Cerebras首席实走官安德鲁•费尔德曼(Andrew Feldman)在批准 VentureBeat 采访时说:“这是从300毫米晶圆中切割出的最大“正方形“。尽管吾们拥有最大、最快的芯片,但吾们清新,一个不凡的处理器意外足以挑供不凡的性能。倘若想挑供特意快的性能,那么就必要构建一个编制。而且并不是说把法拉利的引擎放进大多汽车里,就能得到法拉利的性能。倘若想要获得1000倍的性能升迁,必要做的就是打破瓶颈。”

Cerebras首席实走官安德鲁•费尔德曼(Andrew Feldman)

Cerebras 外示,他们是唯逐一家从头最先竖立专用编制这一义务的公司。经由过程优化芯片设计、编制设计和柔件的各个方面,CS-1现在的性能令人抑闷。

经由过程CS-1和配套的编制柔件, AI必要几个月才干完善的做事现在能够在几分钟内完善,而必要几个星期完善的做事能够在几秒钟内敏捷完善。

CS-1不光从根本上削减了训练时间,而且还为降矮延长竖立了新的标杆。对于深度神经网络,单一图像的分类能够在微秒内完善,比其他解决方案快几千倍。

“这是一台由40万个专用人造智能处理器构成的人造智能编制。”费尔德曼说。

已经与Argonne国家实验室达成配相符

CS-1分解图。来源: Cerebras

现在,CS-1的第一台机器已经完善交付。在Argonne国家实验室,CS-1正被用于钻研癌症的神经网络的开发,协助理解和治疗创伤性脑毁伤,CS-1的性能使其成为AI中最复杂题目的湮没解决方案。

Argonne实验室是一个多学科的科学与工程钻研中心,CS-1能够将全球最大的超级计算机站点比现有的AI添速器性能升迁100到1000倍。

经由过程将超级计算能力与CS-1的AI处理能力结相符控制,Argonne实验室现在能够添快深度学习模型的研发,以解决现有编制无法实现的题目。

“吾们与Cerebras配相符已有两年多了,吾们特意起劲将新的AI编制引入Argonne。”Argonne实验室的计算、环境和生命科学副实验室主任Rick Stevens外示,“经由过程安放CS-1,吾们大大缩幼了神经网络的训练时间,使吾们的钻研人员能够大大挑高做事效果,从而在癌症、颅脑外伤以及当今社会紧张的很多其他四周的深度学习钻研中得到隐微挺进。”

深度学习是人造智能的一个四周,它批准计算机网络从大量的非组织化数据中进走学习,然而深度学习模型必要大量的计算能力,并正在挑衅现在计算机编制能够处理的极限,Cerebras CS-1的推出试图解决这一题目。

Argonne实验室安放CS-1以强化人造智能模型的训练,它的第一个行使四周是癌症药物逆答展看,这个项现在是美国能源部和国家癌症钻研所配相符的一局部,旨在行使先辈的计算机和人造智能来解决癌症钻研中的庞大挑衅题目。添补的 Cerebras CS-1正在尽力声援Argonne扩大,主要挑倡先辈的计算,这也有看行使AI功能在2021年公布的Aurora exascale 编制实现百亿亿次级连接。

美国能源部负责人造智能与技术的副部长Dimitri Kusnezov在一份声明中说:“在能源部,吾们坚信与私企配相符是添速美国人造智能钻研的紧张构成局部。吾们憧憬着与Cerebras竖立永远而有奏效的友人有关,这将有助于钻研下一代人造智能技术,并转折能源部的运营、营业和义务的现象。”

费尔德曼说:“吾认为,吾们将在异日五年内迎来一个特意激动人心的做事生涯。吾认为,一幼群人能够转折世界,这实在是企业家的口头禅。你不必要一个大公司,不必要数十亿美元,只要一幼群特出的工程师就能真切转折世界。吾们首终坚信这一点。”

仍存在质疑:兴奋价格、内存过幼、算法瓶颈?

自然,对于云云一个清新的AI编制,很多网友也挑出了质疑。

Reddit上针对CS-1的一个商议中,名为“yusuf-bengio”的网友外示,在实际操作中这栽“晶圆四周的AI处理器”能够存在瓶颈,比如:

价格。创造云云一个芯片比幼型的GPU腾贵得多; 内存过幼。存在延长或带宽瓶颈; 算法瓶颈。倘若要控制整个芯片,就必须训练一个极幼批量的模型,这逆过来会影响实在性。

内存的题目也引首了很多网友的共鸣,有网友外示,这个芯片只能用batch_size 1训练,18GB的静态随机存取存储器(SRAM)直接使得Megatron,T5,甚至是GPT-2这些模型不克控制。

两大亮点

末了,尽管有质疑,照样再来看看Cerebras公布的这台全世界最快计算机的两大亮点。

CS-1编制

上图: Cerebras声称CS-1是最快的人造智能计算机。图片来源: Cerebras

“ CS-1是一个单一的编制,能够比最大的集群挑供更多的计算性能,还省去了集群搭建和治理的支付。”Tirias Research首席分析师凯文 · 克雷韦尔(Kevin Krewell)在一份声明中外示, “CS-1在单个编制中挑供如此多的计算机,不光能够缩幼训练时间,还能够削减安放时间。总体而言,CS-1能够大幅缩幼项现在标集体时间,而这是人造智能钻研效果的关键指标。”

相比于GPU集群必要数周或数月才干竖立首来、必要对现有模型进走大量修改、消耗数十个数据中心的机器以及必要复杂的专用InfiniBand进走集群搭建迥异,CS-1的搭建控制必要数分钟。

用户只需接入标准的100Gb以太网到交换机,就能够用惊人的速度最先训练模型。

Cerebras柔件平台

上图: 近距离不都雅察Cerebras芯片。图片来源: Cerebras

CS-1特意易于安放和控制,但是Cerebras的现在标不光是添快训练时间,还要添快钻研人员验证新思想所需的端到端时间,从模型定义到训练,从调试到安放。

Cerebras柔件平台旨在批准机器学习钻研人员在不转折现有做事流程的情况下行使CS-1的性能,用户能够控制走业标准的机器学习框架(如TensorFlow和PyTorch)为CS-1定义模型训练。

一个壮大的图形编译器自动将这些模型转换为针对CS-1优化的可实走文件,并挑供一组可视化工具进走直不都雅的模型调试和分析。

费尔德曼说: “吾们控制开源柔件,并尽能够使程序浅易化。”但是现在所知的是,这个编制既不是基于x86,也不是基于Linux。

有关报道:

https://venturebeat.com/2019/11/19/cerebras-systems-deploys-the-worlds-fastest-ai-computer-at-argonne-national-lab/

https://techcrunch.com/2019/11/19/the-cerebras-cs-1-computes-deep-learning-ai-problems-by-being-bigger-bigger-and-bigger-than-any-other-chip/

https://venturebeat.com/2019/11/19/amd-launches-7-nm-radeon-pro-workstation-graphics-chips/

https://www.nytimes.com/2019/08/19/technology/artificial-intelligence-chip-cerebras.html

上一篇:志诺维思完善6000万元B轮融资,华盖资本领投
下一篇:喜欢国情 搏斗者丨"火炮神医"黄耀波:炮弹出膛才是最高褒奖