BOB体育app目前,谷歌公司90%以上的AI训练工作都是通过谷歌自主研制的TPU芯片(Tensor Processing Unit)完成的。其AI训练的过程是:通过给模型输入数据,BOB使其能够用类似人类的文本回应、并具备生成图像等功能。
现谷歌TPU芯片已经出到第四代(TPU v4)了。谷歌公司周二发布的一篇论文详细阐述了,该公司是如何利用自己定制的光开关将4000多个芯片组合到一台超级计算机中,从而帮助连接一台立机器。
随着OpenAI的ChatGPT、谷歌的Bard等AI聊天机器人的竞争愈演愈烈,改善芯片间的连接已成为开发AI超算的科技公司的一个关键竞争点。
由于ChatGPT、Bard等产品背后使用的大型语言模型的规模太庞大了,无法存储在单一芯片上。BOB所以,这些模型必须分散在数千个芯片上,然后这些芯片必须同时工作,花费数周或更长时间来训练语言模型。
谷歌的PaLM是该公司迄今为止公开披露的最大的语言模型。其训练方式是:通过将其分配到两台各包含4000个芯片的超级计算机中,历时50天进行训练。
谷歌周二称,其超级计算机可以很轻松地在运行过程中重新配置芯片之间的连接,有助于避免问题并调整性能。
该公司的研究员Norm Jouppi和工程师David Patterson在上述论文中写道,“电路切换可以很容易地绕过故障组件…这种灵活性甚至允许我们改变超级计算机互连的拓扑结构,以加速机器学习模型的性能。”
虽然谷歌直到现在才披露关于其超级计算机的详细信息,不过事实上,自2020年以来,该系统已经在公司内部上线,应用于该公司位于俄克拉荷马州的一个数据中心。BOB
据悉,初创公司Midjourney使用该系统来训练其模型,在输入几句文字后,模型就会生成新的图像。
谷歌在论文中还写道,相比于与TPU v4同时发布的A100芯片,其芯片速度高达A100的1.7倍,能耗效率是A100的1.9倍。
不过谷歌也承认,并没有将TPU v4与目前的H100芯片进行比较。给出的理由是:H100上市时间晚于谷歌芯片,并且采用了更新的技术。
此外,谷歌还暗示,正在研发一种新版本TPU,以期与英伟达H100芯片竞争,但没有提供细节。
又一新概念起风!“MLOps”引市场关注 AI浪潮持续蔓延 这一方向或承接景气
又一新概念起风!BOB“MLOps”引市场关注 AI浪潮持续蔓延 这一方向或承接景气
又一新概念起风!“MLOps”引市场关注 AI浪潮持续蔓延 这一方向或承接景气
德国考虑封杀ChatGPT 法国、爱尔兰、西班牙或加入!欧洲为何围剿ChatGPT
18% 这只新股中签率创年内新高!又一只“低价股”来了 曾下调发行底价
吹了多年的券商终于发力了,后面怎么操作?终于崛起大旗扛,一天四点猛向上。排山倒海
创业板好不容易戴上红帽子又差点被收回,空天军硬生生成了伪科技,扶不起只有躺平,补
今日操作计划(20230403)暂停定投:银华农业,证券公司指数,科创50。目前
【股市风云:应对主升浪的合理策略】大盘连收三阳,且今日有效突破3286点,技术上
郑重声明:天天基金网发布此信息目的在于传播更多信息,与本网站立场无关。天天基金网不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资决策建议,据此操作,风险自担。数据来源:东方财富Choice数据。
安全指引免责条款隐私条款风险提示函意见建议在线客服诚聘英才天天基金客服热线客服邮箱:/span>
人工服务时间:工作日 7:30-21:30 双休日 9:00-21:30郑重声明:天天基金系证监会批准的基金销售机构[000000303]。天天基金网所载文章、数据仅供参考,使用前请核实,风险自负。
侵权(诽谤、抄袭、冒用等)确定取消举报邮箱:举报举报成功!BOB关闭