您现在的位置是:首页 > 芯片芯片
4000 多个芯片串联而成,谷歌称其超级计算机比英伟达的更快、更节能
cc博主2023-04-12【芯片】127人已围观
IT之家 4 月 5 日消息,Alphabet Inc.旗下谷歌公司周二公布了其用于训练人工智能模型的超级计算机的新细节,称这些系统比英伟达的同类系统更快更省电。
谷歌自主设计了一种名为张量处理单元(Tensor Processing Unit,简称 TPU)的芯片,用于训练人工智能模型,该公司 90% 以上的人工智能训练工作都使用这些芯片,这些模型可以用于诸如用人类语言回答问题或生成图像等任务。
据IT之家了解,谷歌的 TPU 现在已经是第四代了。谷歌周二发表了一篇科学论文,详细介绍了他们如何使用自己定制开发的光学开关将 4000 多个芯片串联成一台超级计算机。
改善这些连接已经成为建造人工智能超级计算机的公司之间竞争的关键点,因为为谷歌的 Bard 或 OpenAI 的 ChatGPT 等技术提供动力的所谓大型语言模型的规模已经爆炸性增长,这意味着它们太大,无法存储在单个芯片上。
这些模型必须被分割到数以千计的芯片中,然后这些芯片必须协同工作数周或更长时间来训练模型。谷歌的 PaLM 模型 —— 迄今为止其公开披露的最大的语言模型 —— 是通过将其分散到 4,000 个芯片的两台超级计算机上,历时 50 天进行训练的。
谷歌表示,其超级计算机可以轻松地实时重新配置芯片之间的连接,有助于避免问题并提高性能。
谷歌研究员 Norm Jouppi 和谷歌杰出工程师 David Patterson 在一篇关于该系统的博文中写道:“电路切换使我们很容易绕过故障部件。这种灵活性甚至允许我们改变超级计算机互连的拓扑结构,以加速 ML(机器学习)模型的性能。”
虽然谷歌现在才公布其超级计算机的细节,但它已经于 2020 年在内部上线,在美国俄克拉荷马州梅斯县(Mayes County)的一个数据中心运行。谷歌表示,初创公司 Midjourney 使用了该系统来训练其模型,该模型可以在输入文字后生成图像。
谷歌在论文中说,对于同等规模的系统,其超级计算机比基于 Nvidia A100 芯片的系统快 1.7 倍,节能 1.9 倍。谷歌表示,之所以没有将其第四代产品与 Nvidia 目前的旗舰产品 H100 芯片进行比较,因为 H100 是在谷歌的芯片之后上市的,而且是用更新的技术制造的。谷歌暗示他们可能正在开发一种新的 TPU,与 Nvidia H100 竞争。
Tags:
相关文章
热评文章
免费SS/SSR节点账号获取v2ray节点机场订阅分享更新(2024/4/26)
clashforwindows节点购买订阅教程SSR/v2ray多端付费订阅节点购买(4/29)
高速稳定ssr机场推荐小火箭机场v2ra链接订阅购买更新二维码(4/28)
五一福利公益SSR节点账号分享网址梯子v2ray节点机场免费更新(2024/5/2)
Open-Sora 全面开源升级:支持单镜头 16s 视频生成和 720p 分辨率
携手共进:云阙数智学院与RMDS联合打造AIGC人才培养高地
vps怎么添加网站(vps 教程)
游戏虚拟主机免费(性价比虚拟主机)
阿里云怎么低价购买虚拟主机(阿里云虚拟服务器怎么用)
什么时候虚拟主机(虚拟主机是电脑吗)