炸裂消息!据外媒透露,微软和OpenAI正豪掷超千亿美元,欲打造一台「星际之门」超算。最快在2028年,「星际之门」就要启动了。而它对电力的需求,将达到前所未有的程度。
据外媒The Information报道,微软和OpenAI正计划建设一个名为「星际之门」(Stargate)的特殊数据中心,为后者提供强大的计算支持。
就在本周三,我们刚刚报道过OpenAI把微软电网搞崩的消息。当时微软工程师曝出,为GPT-6部署10万个H100训练集群时,整个电网发生了崩溃。
此前,微软已经向OpenAI投资超过130亿美元,让OpenAI能用微软的数据中心跑ChatGPT。
而作为回报,微软得到的是对OpenAI技术核心的访问权限,并且可以将该技术独家提供给摩根士丹利之类的云计算客户。另外,Office、Teams、Bing的AI Copilot中,也可以整合OpenAI的技术。
然而Sam Altman坚决否认:绝非如此!在他看来,制约GPT-5发展的主要障碍,就是缺乏足够的服务器。
经初步计算,「星际之门」要想运转,需要的是至少数千兆瓦的电力,相当于目前几个大型数据中心所需的电力。
Digital Realty的首席技术官Chris Sharp指出,如果是为了实现AGI,这种投资规模的项目绝对是必要的。
对此业内人士分析称,当前正在建设的以AI为重点的数据中心,其芯片成本通常要占到总投资的一半。
总体而言,想要最终完成「星际之门」计划,可能会需要消耗超过1150亿美元——这一数字是微软去年在服务器等设备上支出的3倍还多。
他不仅公开表示现有的AI服务器芯片数量严重不足,而且还在私下里表示,作为主要竞争对手之一的谷歌,将会在短期内拥有比OpenAI更多的算力。
随着对英伟达GPU的需求急剧上升,像微软和OpenAI这样的客户,都不得不面临成本上涨的问题。
GPU市场的繁荣让英伟达成为了一个关键的决策者,它不仅可以决定哪些客户能够获得更多的芯片,并且还会支持一些与微软竞争的小型云服务供应商。甚至,连英伟达自己也开始向客户卖云服务了。
而「星际之门」的提出,便是让微软和OpenAI有了除英伟达之外的选择,比如AMD的GPU,或者微软最近推出的自研AI芯片。
比如,其中一个设计方案,是在单个机架中安装比微软以往更多的GPU,来提升芯片的工作效率和性能。
目前,微软在超算中使用的是英伟达专有的InfiniBand。但我们都知道,OpenAI一直在努力摆脱对英伟达依赖。
另外,在能源这块,据项目内部人士透露,公司们考虑过采用替代能源,比如核能,来满足其能源需求。
值得一提的是,亚马逊近期购入了一个位于宾夕法尼亚州、能够接入核能源的数据中心地块。据了解,微软也对这一地块表现出了兴趣,并曾参与过相关竞标。
显然,在追求高级人工智能的道路上,能源创新将扮演关键角色,而核能,很可能会成为实现这一目标的重要一环。
这就是为什么,各大公司对AI数据中心的细节抠得无比严格。GPU如何连接和冷却,一个细节的差异就可能导致巨大的成本损耗。
老黄也早就预测说,为了应对未来对AI计算的需求,在未来四到五年内,全球需要投资1万亿美元来建设新的数据中心!
为了满足OpenAI日益增长的算力需求,微软咬牙造了第一台GPU超算,其中包含数千个英伟达GPU。
微软和OpenAI的雄心壮志,几乎完全取决于OpenAI是否能在「超级智能」上取得重大进展。
如果OpenAI能解决癌症、核聚变、全球变暖或火星殖民这种级别的问题,金主当然愿意源源不断地投钱。
尽管ChatGPT和Sora在全球拥有了无数用户,但如何用它们带来显著收入,OpenAI目前还都没有解决。变现所需的时间,可能比预期的更长。
Altman在上个月曾表示,当研究人员投入更多的算力时,AI模型会变得「可预见地更好」。对此,OpenAI称之为对话式AI的「缩放定律」(scaling law)。
例如传闻中的Q*,据说能解决之前未经训练的数学问题。而且,它是用合成数据训练的。在人类数据即将耗尽之际,这一点至关重要。
此外,传闻这些模型还能识别出现有模型,如GPT-4的缺陷,并提出技术改进,换句话说,就是自我完善的AI。