谷歌有限拖累公司在2026年谷歌云Next大会上发布了两款专为东说念主工智能设想的定制芯片，推出了分辨面向查考与推理任务的两种张量搞定器（TPU）架构：第八代TPU 8t与TPU 8i。

谷歌示意，这两款芯片的设想初志是应付下一代AI使命负载，并针对商场上不同的需求进行了明确单干。AI筹画主要触及两大中枢任务：构建模子与动手模子。跟着AI智能体的快速兴起，商场关于概况承担推理任务"大脑"扮装的广泛AI模子，以及复古其在云霄动手的高性能硬件需求执续攀升。

前一代芯片Ironwood TPU被定位为推理时间的单一旗舰平台，而谷歌这次将最新一代芯片拆分为两种颓败架构，分辨专注于大畛域查考与高并发推理，以复古智能体时间的到来。

TPU 8t：重塑AI查考体验

谷歌示意，TPU 8t专为大畛域预查考和镶嵌密集型使命负载而优化，遴荐3D环形收集拓扑结构，谷歌称这一时期已在更大畛域的芯片收聚会考据了精湛的膨胀性。与上一代比拟，TPU 8t可在单个集群中诱导9600块芯片，而Ironwood仅支执9216块。

TPU 8t配备了SparseCore专用加快器，概况搞定谎言语模子查找进程中常见的不限定内存探员问题，同期支执原生四位浮点运算，以冲破内存带宽优化瓶颈。这使得查考速率更快，模子压缩成果更佳，在保执精度的同期，隐隐量进步一倍，内存占用权贵捏造。

通过一种称为量化的时期捏造每个参数所需的比特数，牛牛游戏官方网站不错在性能较低的系统上动手更大的模子，从而降愚顽耗、松开土产货硬件占用空间，并收场更高的应用率峰值。

谷歌示意，这次狡计所以更低资本霸占查考商场。谷歌宣称，在大畛域查科场景下，TPU 8t相较于Ironwood TPU的每好意思元性能进步幅度高达2.7倍。

TPU 8i：加快模子部署落地

模子查考完成并准备就绪后，便需要进入骨子使用，这恰是推理进展作用的场景，亦然谷歌以为TPU 8i大放异彩之处。TPU 8i通过高带宽内存与专用收集拓扑，专注于查考后优化与高并发推理，ag国际助力大型模子高效工作。

TPU 8i搭载的静态立时存取内存容量是Ironwood的三倍，可在谎言语模子推理时缓存更大的键值对，从而权贵加快文本生成。此外，谷歌还构建了一套名为Collectives Acceleration Engine的推理系统，挑升搞定自归来解码与"念念维链"进程中所需的规约与同步纪律。

为了将更多芯片互联并构建一个总共芯片均可"互见"的系统，谷歌建树了名为Boardfly ICI的定制收集拓扑结构，最多可互联1152块芯片。通过缩小收集直径和数据包穿越系统所需的跳转次数，有用捏造收集蔓延。谷歌示意，这一设想将全对全通讯所需的跳转次数合座捏造了多达50%，而全对全通讯关于夹杂民众架构谎言语模子及推理模子的推理任务至关攻击。

在资本方面，谷歌示意TPU 8i在低蔓延狡计下，尤其是在工作超大畛域夹杂民众前沿模子时，相较于Ironwood的每好意思元性能进步幅度约为80%。

谷歌补充称，两款芯片相较于上一代产物，每瓦性能均进步了一倍。

Q&A

Q1：TPU 8t和TPU 8i有什么区别？分辨适用于哪些场景？

A：TPU 8t专为大畛域AI模子查考设想，遴荐3D环形收集拓扑，支执9600块芯片互联，并内置SparseCore加快器和四位浮点运算，得当预查考和镶嵌密集型任务。TPU 8i则专注于模子推理场景，配备三倍于Ironwood的静态立时存取内存，并搭载Collectives Acceleration Engine推理系统，得当高并发、低蔓延的谎言语模子工作。

Q2：TPU 8i的Boardfly ICI收集拓扑有什么作用？

A：Boardfly ICI是谷歌为TPU 8i挑升建树的定制收集拓扑结构，最多可将1152块芯片互联成一个合座系统。其中枢上风在于通过缩小收集直径和减少数据传输的跳转次数来捏造蔓延，并将全对全通讯所需跳转次数合座捏造多达50%，这关于夹杂民众架构谎言语模子的推理任务尤为要津。

Q3：TPU 8t比拟上一代Ironwood TPU在性能和资本上有哪些进步？

A：在性能方面，TPU 8t支执的单集群芯片互联数目从9216块进步至9600块，隐隐量翻倍，同期内存占用更小。在资本效益方面，谷歌宣称TPU 8t在大畛域查科场景下每好意思元性能进步高达2.7倍。此外ag官方app，TPU 8t的每瓦性能也比Ironwood进步了一倍，有助于捏造合座能耗资本。

• ag官方app
• 全新
• 谷歌
• 推出
• 两款