1. 首页>
  2. 腾讯云代理

揭秘 | 谷歌硬件工程师亲述,TPU 为何会比 CPU、GPU 快 30 倍?

腾讯云 2017年04月26日 浏览1135

    腾讯云代理 腾讯云新闻 腾讯云代理 腾讯云直播申请 游戏上云

摘要: 中国计算机学会学科前沿讲习班(简称 ADL),系由中国计算机学会主办的高端学术品牌活动。 4 月 7-9 日,2017 年首期 ADL 课程中,8 位顶尖学术大牛余凯、颜水成、杨强、李航、俞凯、孙剑、郑宇、山世光将亲临现场授课。想要第一时间聆听大牛分享?

雷锋网按:在谷歌发布 TPU 一年后,这款机器学习定制芯片的神秘面纱终于被揭开了。那么 TPU 究竟有多快呢?我们来听听谷歌硬件工程师的说法。

昨日,谷歌资深硬件工程师 Norman Jouppi 刊文表示,谷歌的专用机器学习芯片 TPU 处理速度要比 GPU 和 CPU 快 15-30 倍(和 TPU 对比的是英特尔 Haswell CPU 以及 Nvidia Tesla K80 GPU),而在能效上,TPU 更是提升了 30 到 80 倍。

从这次发布的测试结果来看,TPU 似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从 Jouppi 此前发布的论文当中,可以找到答案。

据雷锋网了解,早在四年前,谷歌内部就开始使用消耗大量计算资源的深度学习模型,这对 CPU、GPU 组合而言是一个巨大的挑战,谷歌深知如果基于现有硬件,他们将不得不将数据中心数量翻一番来支持这些复杂的计算任务。

所以谷歌开始研发一种新的架构,Jouppi 称之为 “下一个平台”。Jouppi 曾是 MIPS 处理器的首席架构师之一,他开创了内存系统中的新技术。三年前他加入谷歌的时候,公司上下正在用 CPU、GPU 混合架构上来进行深度学习的训练。

Jouppi 表示,谷歌的硬件工程团队在转向定制 ASIC 之前,早期还曾用 FPGA 来解决廉价、高效和高性能推理的问题。但他指出,FPGA 的性能和每瓦性能相比 ASIC 都有很大的差距。他解释说,“TPU 可以像 CPU 或 GPU 一样可编程,它可以在不同的网络(卷积神经网络,LSTM 模型和大规模完全连接的模型)上执行 CISC 指令,而不是为某个专用的神经网络模型设计的。一言以蔽之,TPU 兼具了 CPU 和 ASIC 的有点,它不仅是可编程的,而且比 CPU、GPU 和 FPGA 拥有更高的效率和更低的能耗。

TPU 的内部架构

    

2

该图显示了 TPU 上的内部结构,除了外挂的 DDR3 内存,左侧是主机界面。指令从主机发送到队列中(没有循环)。这些激活控制逻辑可以根据指令多次运行相同的指令。

TPU 并非一款复杂的硬件,它看起来像是雷达应用的信号处理引擎,而不是标准的 X86 衍生架构。Jouppi 说,尽管它有众多的矩阵乘法单元,但是它 GPU 更精于浮点单元的协处理。另外,需要注意的是,TPU 没有任何存储的程序,它可以直接从主机发送指令。

TPU 上的 DRAM 作为一个单元并行运行,因为需要获取更多的权重以馈送到矩阵乘法单元(算下来,吞吐量达到了 64,000)。Jouppi 并没有提到是他们是如何缩放(systolic)数据流的,但他表示,使用主机软件加速器都将成为瓶颈。

3

256×256 阵列缩放数据流引擎,经过矩阵乘法积累后实现非线性输出

从第二张图片可以看出,TPU 有两个内存单元,以及一个用于模型中参数的外部 DDR3 DRAM。参数进来后,可从顶部加载到矩阵乘法单元中。同时,可以从左边加载激活(或从 “神经元” 输出)。那些以收缩的方式进入矩阵单元以产生矩阵乘法,它可以在每个周期中进行 64,000 次累加。

毋庸置疑,谷歌可能使用了一些新的技巧和技术来加快 TPU 的性能和效率。例如,使用高带宽内存或混合 3D 内存。然而,谷歌的问题在于保持分布式硬件的一致性。

TPU 对比 Haswell 处理器

在和英特尔 “Haswell”Xeon E5 v3 处理器来的对比中,我们可以看到,TPU 各方面的表现都要强于前者。

在 Google 的测试中,使用 64 位浮点数学运算器的 18 核心运行在 2.3 GHz 的 Haswell Xeon E5-2699 v3 处理器能够处理每秒 1.3 TOPS 的运算,并提供 51GB / 秒的内存带宽;Haswell 芯片功耗为 145 瓦,其系统(拥有 256 GB 内存)满载时消耗 455 瓦特。

相比之下,TPU 使用 8 位整数数学运算器,拥有 256GB 的主机内存以及 32GB 的内存,能够实现 34GB / 秒的内存带宽,处理速度高达 92 TOPS ,这比 Haswell 提升了 71 倍,此外,TPU 服务器的热功率只有 384 瓦。

除此之外,谷歌还测试了 CPU、GPU 和 TPU 处理不同批量大小的每秒推断的吞吐量。

Haswell CPU的响应时间接近7毫秒,其每秒提供5482次推断(IPS),其可以实现的最大批量任务(64)每秒则可以完成13194次推断,但其响应时间为21.3毫秒。相比之下,TPU可以做到批量大小为200,而响应时间低于7毫秒,并提供225000个IPS运行推理基准,是其峰值性能的80%,当批量大小为250,响应时间为10毫秒。

不过需要注意的是,谷歌所测试的Haswell Xeon处理器似乎也不能完全说明问题,英特尔Broadwell Xeon E5 v4处理器和最新的“Skylake”Xeon E5,每核心时钟(IPC)的指令比这款处理器提升了约5%。在Skylake是28核,而Haswell为18核,所以Xeon的总体吞吐量可能会上升80%。当然,这样的提升与TPU相比仍有差距。

最后需要强调的是,TPU是一个推理芯片,它并非是要取代GPU,可以确定的是,TPU与CPU一起使用对训练分析更加有益。但对于CPU制造商而言,如何研发出像ASIC一样兼顾性能和能效的芯片是现在以及未来要做的。

Jouppi表示谷歌TPU已经开始出货,而英特尔这些芯片商也将面临更大的挑战。


相关文章

在线客服
淘宝购买
腾讯云直播申请 title=
+成为腾讯云VIP客户 腾讯云直播申请 客服电话

15818558013

0755-33940501-803

0755-33940501-808