高德注册登录人工智能初创公司Graphcore表示,世


高德注册登录【主管QQ554-258】周三,英国布里斯托尔人工智能计算初创公司Graphcore的首席技术专家西蒙•诺尔斯(Simon Knowles)对超级计算机专业人士表示,未来几年的大量人工智能工作将由人们来完成,他们将大型深度学习模型提炼成一些可用的、更具体的任务。

诺尔斯在发言中说:“对于想购买、拥有或租赁人工智能计算机的人,有三种用户级别。”该发言的视频已在网上发布。诺尔斯说:“将会有非常少的人从零开始训练巨大的万亿级模型。”他指的是拥有一万亿参数或权重的深度学习模型。

诺尔斯说:“其他公司会从这些通用模型中租借这些模型,并从中提取出特定任务的模型来做有价值的事情。”他建议,第三类用户根本不会训练模型,他们只是充当由第二组用户创建的经过提炼的模型的消费者。

Graphcore以生产用于支持人工智能的定制芯片(即加速器)而闻名,也以生产用于容纳这些芯片的完整计算机系统和专用软件而闻名。

诺尔斯的深度学习的等级概念,为数不多的实体,可以计算能力的“成千上万的yotta-FLOPS”——唐宁街十号的24日权力——是将构建和训练trillion-parameter神经网络模型,代表了人类知识的“通用”模型。他举了一个可以包含所有人类语言的大型模型的例子,就像OpenAI的GPT-3自然语言处理神经网络。

诺尔斯预测,“这样的实体不会太多”。

人工智能计算设备市场上的公司已经开始讨论在神经网络中使用一万亿参数的项目。

相比之下,高德平台开户提取万亿参数模型的二级实体,将需要更少的计算能力来将通用模型重新训练成特定于某个领域的东西。当然,第三个实体的权力更小。

此外:“这是根本”:Graphcore首席执行官相信新型人工智能将证明新型计算机的价值

诺尔斯是在SC20上对观众说这番话的。SC20是一个超级计算会议,每年在不同的城市举行,但鉴于COVID-19大流行,今年作为一个虚拟事件举行。

Knowles此次演讲的主旨是为Graphcore的深度学习IPU芯片以及Graphcore所构建的计算机系统做一个演示。

Knowles表示,许多人工智能计算公司都在追求一种错误的内存技术,即高带宽内存(HBM),这种技术由堆叠的die组成,可以缩短与主存之间收发数据的延迟。主存位于加速器芯片之外。

graphcore - 2020 - hbm -记忆-是- go.png -错误的方式

诺尔斯认为,考虑到部件成本高昂,该行业倾向于为人工智能加速器使用高带宽内存是一个错误。人工智能需要大量的容量,而不是带宽,诺尔斯说。

诺尔斯说:“最近在人工智能加速器领域,高德开户每个人都在追求带宽,我认为这是错误的。”“我认为它应该提高产能。我们实际上并不需要带宽。”据Knowles观察,如今市场上几乎所有的人工智能产品都有高带宽内存。

“DRAM的优先级应该是芯片外DRAM的容量,因为我们需要那些人比例的模型,”诺尔斯说,“因为我们不想只在仓库大小的计算机上操作人比例的模型。”

诺尔斯说,任何能够购买机架大小的机器的人,都应该能够“至少操纵一个人体比例的模型,并从中提取出更小的模型。”

与典型的DDR服务器内存相比,HBM的成本高得令人望而却步,每千兆字节的成本是DDR的五倍。

说:“这是非常昂贵的HBM诺尔斯,“部分组装产生的结果,但主要是由于边缘叠加:换句话说,人从制造商购买HBM购买它的内存,然后把它卖给你与他们的边缘上,“而直接购买的DDR内存制造商。

诺尔斯说,这种成本差异意味着HBM无法达到存储数十亿或数万个参数的大型内存系统所需的规模。

Knowles还说,HBM不能提供每个芯片超过72gb的数据。这意味着“只有买得起仓库的人才能使用它,而你无法把它装进架子大小的计算机里。”


上一篇
高德注册登录红帽在计算的边缘调整RHEL和OpenSh
上一篇
高德注册登录Nuance销售其转录、电子健康业务
  • 版权声明:内容来自互联网不代表本站观点,2020-11-19发表于 高德开户栏目。
  • 转载请注明: 高德注册登录人工智能初创公司Graphcore表示,世| 高德开户 +复制链接