只是是GPT-4的GPU，一次检会就会用去2.4亿度电。AI为什么那么耗电？它们用掉的电齐跑到那边去了？有可能回收这些电改造成的能量吗？

撰文 | 猛犸

今天咱们所说的东说念主工智能（AI），主要指的是生成式东说念主工智能。而其中一大部分，是基于妄言语模子的生成式东说念主工智能。

它们需要大鸿沟的数据中心来检会和推理。这些数据中心由多半就业器组成，就业器花费的电能绝大部分改造成了热能，终末通过水冷系统开释出来。是以也不错说，AI的物理硬件是个浩繁的“电开水器”。

这个说法听起来好像有点奇怪。咱们齐知说念，就业器是一种电子计算机，而计算机中处理的是信息。信息和能量又有什么关系呢？

还真有。

处理信息需要花费能量

1961年，在IBM公司责任的物理学家拉尔夫·兰说念尔（Rolf Landauer）发表了一篇论文，冷漠了其后被称为“兰说念尔旨趣”（Landauer's Principle）的表面。这一表面以为，计算机中存储的信息发生不可逆的变化时，会向周围环境懒散少许点热量，其懒散的热量和计算机那时所处的温度关连——温度越高，懒散的热量越多。

兰说念尔旨趣汇聚起了信息和能量；更具体地说，汇聚到了热力学第二定律上。因为逻辑上不可逆的信息处理操作，也就意味着消失了信息，这会导致物理宇宙中熵的加多，从而花费能量。

这一旨趣自冷漠以来遇到过不少质疑。然而近十几年来，兰说念尔旨趣已被实考据明。2012年，《当然》杂志发表了一篇著作，商酌团队初次测量到了一“位”（bit）数据被删除时开释的微量热量。其后的几次落寞实际，也齐诠释了兰说念尔旨趣。

是以，处理信息是有能量本钱的。

咫尺的电子计算机在计算时本体花费的能量，是这个表面值的数亿倍。科学家们一直在起劲寻找更高效的计算神志，以镌汰本钱。不外从咫尺的商酌进展情况来看，也许只消确凿的室温超导材料能泛泛应用于计算开荒时，这个能耗才有可能离兰说念尔旨趣所描述的表面值近一些。

AI大模子如实需要多半计算。它的责任经过大致不错分为检会和推理两个阶段。在检会阶段，最初需要集结和预处理多半的文本数据，用作输入数据。然后在相宜的模子架构中运行化模子参数，处理输入的数据，尝试生成输出；再左证输出与预感之间的互异，反复改造参数，直到模子的性能不再显赫进步限定。而在推理阶段中，则会先加载还是检会好的模子参数，预处理需要推理的文本数据，再让模子左证学习到的话语端正生成输出。

不管是检会照旧推理阶段，齐是一连串信息重组经过，也一样降服兰说念尔旨趣。而咱们也不难推知，模子的参数目越大，需要处理的数据越多，所需的计算量也就越大，所花费的能量也就越大，开释的热量也就越多。

只不外，这只是AI耗电中微不及说念的一小部分。更大的花费来自另一个咱们更熟谙的物理定律：焦耳定律。这就要从集成电路提及了。

更“大头”能耗来自电流

今天的电子计算机确立在集成电路的基础上。咱们持续把集成电路叫作念芯片。每个芯片中，齐有好多晶体管。

不严格地描述，晶体管不错领略成轻细的开关。这些开关串联或者并联在全部，就不错扫尾逻辑运算。“开”和“关”示意两种情景，也即是所谓的1和0，这即是计算的基本单元“位”。它是计算机二进制的基础。计算机通过快速改变电压，来拨动这些开关。

改变电压，需要电子流入或流出。而电子流入流出，就组成了电流。又因为在电路中老是有电阻，就产生了热能。焦耳定律告诉咱们，产生的热量与电流的往常成正比，与导体电阻成正比，与通电时刻成正比。

集成电路期间发展到今天，芯片中的晶体管还是变得极为轻细。是以，单个晶体管所产生的热量并不会太高。但问题是，芯片上的晶体管实在是还是多到了常东说念主无法思象的进程——比如，在IBM前几年发布的等效2纳米制程芯片中，每往常毫米面积上，平均有3.3亿个晶体管。再小的热量，乘上这个鸿沟，服从一定非常可不雅。

一个可能让东说念主大跌眼镜的意旨事实是，今天芯片单元体积的功率，比太阳中枢多出好几个数目级。典型的CPU芯片功率大致是每立方厘米100瓦，即每立方米1亿瓦；而太阳中枢的功率只消每立方米不到300瓦。

在OpenAI检会妄言语模子GPT-4时，完成一次检会需要约三个月时刻，使用爽气25000块英伟达A100 GPU。每块A100 GPU齐领有540亿个晶体管，功耗400瓦，每秒钟不错进行19.5万亿次单精度浮点数的运算，每次运算又波及到好多个晶体管的开关。

容易算出，只是是这些 GPU，一次检会就用了2.4亿度电。这些电能的确全部改造成了热能，这些能量不错将爽气200万立方米冰水——大致是1000个奥运会要领游池塘的水量——加热到本旨。

为什么AI需要用这样多的坚硬GPU来检会？因为妄言语模子的鸿沟实在太大。GPT-3模子领有1750亿参数，而据估计，GPT-4领有1.8万亿参数，是GPT-3的十倍。要检会这种鸿沟的模子，需要在大鸿沟数据集上反复迭代，每一次迭代齐需要计算和改造其中数十亿、数百亿乃至数千亿个参数的值，这些计算最终会确以为晶体管的开开关关，和集成电路中细细的电流——以及热量。

能量无法创造也无法清除，它只可从一种格式改造成另一种格式。关于电子计算机来说，它最主要的能量改造格式，即是从电能改造成热能。

妄言语模子亦然如斯。它对电能和冷却水的需求，正带来越来越严重的环境问题。

回收“电开水器”中的热量？

就在前几天，有微软公司的工程师说，为了检会GPT-6，微软和OpenAI建造了浩繁的数据中心，将会使用10万块英伟达H100 GPU——性能比A100更强，虽然功耗也更大——然而，这些GPU不可放在合并个州，不然会导致电网负荷过大而崩溃。

AI发展带来的动力浮泛问题，还是脱手披露。在本年的达沃斯宇宙经济论坛上，OpenAI的CEO山姆·阿尔特曼（Sam Altman）以为，核聚变可能是动力的发展主义。但要开发出确凿可用的核聚变期间，可能还需要一些时刻。

水的问题亦然一样。往时几年，那些在AI大模子领域先行一步的大企业们，齐濒临水花费大幅增长的地方。2023 年6月，微软公司发布了2022年度环境可捏续发展讲演，其顶用水一项，有高出20%的显赫增长。谷歌公司也近似。

有商酌者以为，AI的发展，是这些科技巨头用水量剧增的主要原因——要冷却跋扈发烧的芯片，水冷系统是最常见的遴荐。为AI提供硬件基础的数据中心，如合并个浩繁的“电开水器”。

如何让这些清除的热能不至于白白奢华？最容易思到也容易扫尾的，是热回收期间。譬如说，将数据中心回收的热量用于提供民用开水，冬季提供民用采暖。咫尺有一些企业还是入部属手在回收废热再诳骗了，举例中国移动哈尔滨数据中心、阿里巴巴千岛湖数据中心等。

这大致也算是一种解法，但并不可从根蒂上惩处问题。AI产业的发展速率之快，在东说念主类历史上莫得任何产业能与之比拟。均衡AI期间的发展与环境的可捏续性，可能会是咱们翌日几年的紧迫议题之一；期间高出和动力花费之间的复杂关系，从来莫得这样急迫地出咫尺东说念主类眼前。

本文受科普中国·星空计算模样扶捏出品：中国科协科普部监制：中国科学期间出书社有限公司、北京中科银河文化传媒有限公司