什么是神经形态工程,以及为什么引发了模拟革命

什么是神经形态工程,以及为什么引发了模拟革命

时间:2020-4-21 作者:gykj

神经形态工程学的目标

虽然构建这样的设备可能会告诉我们关于大脑是如何工作的,或者至少揭示了大脑不起作用的某些方式,但这种努力的实际目标是产生一种可以以某种方式从其输入中“学习”的机制。数字计算机组件可能无法运行。回报可能是一类全新的机器,能够比使用数字神经网络所需的输入少得多的输入,对其进行“训练”以识别模式。

“这些神经网络最吸引人的特性之一是它们对低功率神经形态硬件的可移植性,” 2018年9月IBM神经形态专利申请[ PDF ] 读到,“它可以部署在移动设备和本机传感器中,这些传感器可以以极高的频率运行。实时的低功耗需求。神经形态计算演示了前所未有的低功耗计算基础,可以在许多应用中使用。”

尽管Google近年来在专门用于基于神经网络的应用程序的称为张量处理器(TPU)的硬件的研究和生产方面一直处于领导者地位,但神经形态分支是完全不同的野兽。具体而言,它不是关于离散数值(例如从1到10的小数位或从0到100的百分等级)的任何数据集的评估。它的从业者除了解决方程式之外,还有一个目标是要考虑的,或者只是为了生产更多软件。他们寻求产生一种认知机器,这可能会导致人们对人类思维如何运作的一种理性理论(如果没有完全证明)。他们没有出手以六招来占领国王。他们在此建立机制。

另外:  即将彻底改变一切的AI独角兽芯片

为什么要尝试神经形态设计?

计算中的神经网络通常由内存中的一组元素表示,这些元素被称为轴突,在神经学领域称为轴突,它们会根据一系列输入进行调整或加权。据说这些权重给人留下了深刻的印象,正是这种印象使神经网络(希望)能够在被要求揭示输入中的共同元素时能够回忆起。如果这种印象可以被视为“学习”,那么经过广泛的训练后,可以训练一个小的神经网络来识别字母。

在纯数字环境中提供神经网络模型需要大量数据。  云服务提供商在利用此要求方面处于特别有利的位置,尤其是如果它可以普及利用机器学习的应用程序时尤其如此。这就是为什么亚马逊和其他公司最近对AI如此兴奋的原因:作为一项任务,它是最大的数据消费者。

但是,您可能已经注意到有关人类的某些事情:他们已经变得非常精通大脑,而没有使用与云服务提供商的光纤链接。出于某种原因,大脑显然能够学习更多信息,而无需二进制存储的原始开销。在理想世界中,神经网络系统应该能够学习应用程序需要了解的视频内容,例如,而不必以高分辨率存储视频的每一帧。

可以想象,虽然神经形态计算机将基于相当复杂的引擎构建,但一旦批量生产,它可能会成为令人惊讶的简单机器。我们还不能在罐子里完全培养大脑。但是,如果我们对构成认知的理论有一个合理的理解,那么我们可以合成一个遵守该理论规则的系统,也许使用更少的能量并需要更少的数量级的记忆就可以产生更好的结果。

自2012年开始着手研究构建神经形态模型的研究以来,包括UCLA加州纳米系统研究所在内的一组研究人员撰写了以下[ PDF ]:

尽管单个神经元的活动比现代微处理器的时钟速度(ns)慢几个数量级(ms),但人脑在诸如图像识别等各种任务中可以大大胜过CMOS计算机,特别是在从有限的空间中提取语义内容方面或以严重降低的分辨率呈现图像时信息失真。这些功能被认为是复杂的循环网络中大脑区域层次结构中串行和并行交互作用的结果,其中神经元之间的连接通常会导致反馈回路。

另外:  Neuton:针对AI的新型破坏性神经网络框架

自合成

从业人员解释说,真正的神经形态设备将包括在物理上自组装的组件。具体来说,它们将涉及原子开关,其磁性连接将刻画突触的作用或神经元之间的连接。包含这些开关的设备的行为就好像它们最初是为执行任务而设计的,而不是像通用计算机那样从电子程序中获取指令。

此类设备不一定必须具有AI应用程序才能具有实际用途。想象一下,例如,在工厂车间的一组机器人控制器,只要它们的芯片检测到机器人正在制造的组件的装配发生变化,它们的芯片就可以重新排列自己的开关。物联网应该解决远程设备的问题,这些设备需要新指令来完成任务,但是如果这些设备在设计上具有神经形态,那么它们可能根本不需要IoT。

神经形态工程师指出了通用计算机芯片设计中的缺陷,我们很少花时间考虑:由于摩尔定律迫使芯片设计人员将更多的晶体管塞入电路中,因此这些晶体管之间的互连数量一再增加。从工程角度来看,这些互连中使用的所有导线的效率随着每一代芯片的使用而降低。很久以前,我们不再能够在单个时钟周期内与CPU上的所有逻辑门进行通信。

如果在一到二十年前芯片设计是神经形态的,我们就不需要每12到18个月就将芯片上晶体管的数量增加一倍,从而获得我们所看到的性能提升-无论如何,这种增长越来越小。如果您将每个互连都视为一种“虚拟突触”,并且每个突触都是原子渲染的,则芯片可以使自己适应最佳服务其程序的需求。

另外:  今年物联网将如何改变四个行业

神经形态工程项目示例

如今,正在进行一些学术和商业实验,以产生有效的,可再现的神经形态模型,包括:

  • SpiNNaker [如上图]是由德国 Jülich研究中心的神经科学和医学研究所的工程师与英国曼彻斯特大学的高级处理器技术小组合作开发的一款低端超级计算机。它的工作是模拟所谓的皮质微电路的功能,尽管其时间尺度比制造时推测的要慢。在2018年8月,大三角帆进行了迄今为止被认为是最大的神经网络仿真,涉及约3万个突触连接的约80,000个神经元。
  • 英特尔正在尝试将其描述为神经形态芯片架构,称为Loihi(lo·EE·hee)。英特尔一直不愿分享能够揭示Loihi架构元素的图像,尽管基于我们掌握的信息,Loihi可以使用英特尔和其他公司今天采用的相同14纳米光刻技术来生产。Loihi的微代码首次于2017年9月宣布,并于次年1月由时任首席执行官Brian Krzanich在CES 2018上正式首播,其中包括专门为训练神经网络而设计的语句。它旨在实现尖峰神经网络(SNN),其模型增加了更多类似于大脑的特征。
  • IBM维护了Neuromorphic设备和架构项目,该项目涉及模拟计算的新实验。 在研究论文中,IBM团队演示了其非易失性相变存储器(PCM)如何  加速与神经网络相关的反馈或反向传播算法。这些研究人员现在正在确定是否可以将PCM用于合成突触的建模中,从而取代了早期TrueNorth和NeuroGrid设计(不是神经形态)中使用的基于静态RAM的阵列。

另:  为什么英特尔制造了神经形态芯片

它认为,因此是

响应意大利菲亚特工程师的建议,一些最重要的神经形态研究始于2002年。他们想要一个能够响应驾驶员睡着的方向盘的系统。加州大学洛杉矶分校的加利福尼亚纳米系统研究所(CNSI)的James K. Gimzewski教授通过调查驾驶员的记忆状态是否可以触发原子开关来做出回应。Gimzewski在这里开始寻找纳米技术与神经病学之间的联系-例如,研究大脑的短期记忆所记录的信号与长期记忆所记录的信号之间的电位差。

加州大学伯克利分校的沃尔特·弗里曼教授从高空照亮了这一联系,近年来,他推测大脑皮层的结构密度与意识本身之间的关系不无关系。生物学过程通过它有机体可以自信地断言它是活着的和思考的。弗里曼称新皮层中形成神经器官的这种厚厚的织物为神经纤维,尽管金泽夫斯基的设计规模小得多,但他不畏惧将这一概念用于合成对应物。

2014年,  Gimzewski首次发表了他的研究成果,其中显示了用硝酸银溶液处理过的接近微米级的铜柱网格的照片。一旦暴露于气态硫中,银原子就会在网格上从点到点形成纳米线-至少表现得足够好,就像突触一样。根据Gimzewski的说法:

“我们发现,当我们改变铜柱的尺寸时,我们可以…迁移到更多的纳米线结构,这是因为我们可以避免在更大范围内发生某些不稳定性。因此,我们能够要制造出非常好的纳米线结构,在这里您可以看到很长和很短的纳米线结构,并且使用这种自下而上的制造工艺(使用硅技术),而不是使用CMOS工艺的自上而下的制造工艺。然后,我们可以生成这些结构…这是理想的,并且每个结构都有一个合成突触。”

Gimzewski声称,CNSI团队的制造工艺能够每平方厘米沉积10亿个突触互连。(2017年3月,英特尔宣布成功将1亿个晶体管塞入一个平方厘米的CPU芯片中。)

另外:  韩国将在纳米技术研发上投资超过6.2亿美元

为什么神经形态工程需要新型机器

如果您曾经对某个应用程序下过象棋,那么您就可以玩弄一种最早,最基本的AI形式:决策树。随意使用“决策”一词最终会使该分支听起来过于夸张;实际上,它非常简单,与大脑的形状或形式无关。

Nuno Nogueira的极小极大决策树图。  通过Wikimedia Commons发布。

本质上,决策树算法将数值应用于评估的可能性。国际象棋程序会评估其找到的所有可能性,以应对未来的移动和反向移动以及反向移动,并选择具有最佳评估值的移动。一个国际象棋程序可能会通过其价值点与其他棋子相区别,该价值点归因于重要棋子的暴露或捕获或重要防线的关闭。

将这些评估浓缩为自动响应模式的能力可能构成某些人至少在根本上称为“战略”的东西。使这种策略适应不断变化的环境是许多研究人员所说的学习。Google的DeepMind部门是一项研究项目的示例,该项目将纯数学逻辑应用于机器学习任务,包括该示例涉及对多个患者的心脏和肺部行为的响应建模。

此外:  Google的AI冲浪“游戏界”以征服游戏理论

确定性的缺点

在这里,一切都摆脱了数字时代的束缚,呈现出一种更具物理性,触觉感的儒勒·凡尔纳式的氛围:我们倾向于将“计算机”定义为必然的数字,而将执行计算任务的所有事物都定义为数字组件。随着神经形态科学将其自身扩展到诸如处理器之类的计算硬件体系结构中,科学家已经意识到,神经形态学的某些元素(如量子计算)无法进行数字建模。随机性或其他莫名其妙的现象是其作案手法的一部分。

从本质上使数字计算机无法模仿有机或亚原子实体的一项关键行为,就是使它在会计中如此可靠的因素:它的确定性。数字计算机程序的重点是在给定一组特定输入的情况下确定机器必须如何运行。所有数字计算机程序要么是确定性的,要么是错误的。

人类或迄今为止研究的任何动物的大脑都不是确定性有机体。我们知道神经元是记忆的主要成分,尽管我们并不真正知道经验和感觉输入如何将自己映射到这些神经元。不过,科学家观察到,神经元“发射”(显示峰值电荷)所通过的功能是概率性的。也就是说,在相同的输入(假设可以重新创建)的情况下,任何一个神经元将触发的可能性小于100%。

神经学家和程序员都无法完全确定,为什么人的大脑拥有如此多种不同的字体时,它们就能如此轻松地学会识别字母,而当人们的声音如此独特时,它们却能够如此轻松地识别单词。如果您认为大脑就像一块肌肉,则可能是改善和增强大脑的压力。的确,智力(由头脑的推理能力引起的现象)可以被解释为大脑通过从字面上构建新的物理材料来适应它的感觉而从周围世界推断出的信息的产物。神经学家将这种适应性称为可塑性,这是神经形态工程师希望模拟的现象之一。

尖峰神经网络(SNN)将完成此任务。在生物大脑中,每个神经元都连接到各种输入。一些输入在神经元中产生激励,而其他输入则抑制它-像人工神经网络中的正负权重。但是使用SNN时,一旦达到由变量(或可能是函数)描述的某个阈值状态,神经元的状态就会尖峰化,字面上是指其电输出。SNN模型的目的是从这些尖峰中得出推论-看看图像或数据模式是否触发了内存。

此外:  这台百万核超级计算机的灵感来自人脑

是什么使神经形态芯片更具模拟性?

有一种观点认为,即使数字序列不是真正随机的,只要不告知对数据进行推断的设备,也就没关系了。为确定性系统开发的所有神经网络模型都在此假设下运行。

斯科特·富尔顿三世

相反的论点是:当神经网络被初始化时,它的“权重”(轴突值的决定因素)必须是随机的。在某种程度上,一个随机模式可能与另一随机模式相似或精确,这种程度必须归因于偏差,并且该偏差会对任何最终结果产生负面影响。

此外:  新年伊始,研究人员优化AI的新网络

为什么真正的随机性很重要

还有一个问题:机电组件可能能够引入无法在纯数字环境中模拟的不确定性元素,即使我们戴上遮光罩也是如此。普渡大学的研究人员正在试验磁性隧道结(MTJ)-夹着氧化镁屏障的两个铁磁层。电流可以逗弄电荷使其跳过层之间的势垒。这种跳跃可能类似于峰值。

MTJ表现出让人联想到晶体管的行为,使电子跨过间隙。在这种情况下,MTJ可以实现分工,其中接收铁磁层起轴突的作用,而中间的隧道则刻画突触。

由此产生的关系是真正的机械关系,其中电荷的行为可以像真实神经元一样使用概率来描述。因此,由涉及MTJ或类似组件的推理过程导致的任何错误都不会归因于确定性无法解决的偏见,而是可以通过适当的努力进行纠正的错误。为了使整个过程可靠,必须将神经元维持的初始化值真正地随机化。

另外:  人工智能有一个概率问题

反对神经形态的情况

当然,神经学家和生物技术人员对任何神经形态计算模型的评价都不高,因为它远远无法模拟真实的大脑活动。有人甚至说,就神经形态系统的组成部分不完整而言,它产生的任何计算模型都完全是奇妙的。

总部位于耶路撒冷的研究公司MX Biotech Ltd.的首席执行官Gerard Marx博士认为,将大脑视为一种无限的热带雨林的普遍观点是,其中的神经元树在开放的微风中从突触中摆动出来。 g。马克思指出,任何此类模型都缺少一种称为细胞外基质(nECM)的物质,它不是胶状的中性海洋,而是大脑召回过程中的一种活性剂。

马克思假设生物脑中的记忆需要神经元,nECM以及各种掺杂物,例如释放到nECM中的神经递质(NT)。电化学过程发生在这三个元素之间,化学反应不仅被记录下来,而且被认为与情感紧密相关。与回忆记忆有关的生理效应(例如,血压升高,呼吸较重)触发心理效应(兴奋,恐惧,焦虑,喜悦),进而对记忆本身产生增强作用。马克思与他的同事Chaim Gilon写[ PDF ]:

我们发现自己处于那个哭泣的男孩的倒立位置:“皇帝没有衣服!” 正如我们惊呼的那样:“没有“裸神经元!”它们被多功能的nECM包裹着,因为它提供了结构支撑,并且是一种水凝胶,液体和小分子通过其扩散。它还充当“记忆材料” ”,由将NT识别为情感编码器的三方机制概述。

这并不是说神经形态计算不能产生收益。但是如果理论上说它将在不考虑大脑其他所有部分的情况下产生更大的收益,那么马克思的立场就是,其从业者应该不再假装是脑外科医师。

另外:  内存辅助:虚拟现实可能很快会帮助您完成测试

神经形态潜能何时会飙升

在历史上的任何时候,超级计算机的处理能力都存在理论上的限制-在这一点上,增加工作负载不会产生更多或更好的结果。从微处理器的进步出发,就开始推高该极限,包括通过引入GPU(以前只是图形处理器)和Google的TPU设计开始。但是限制的扩展范围可能存在限制,因为摩尔定律仅在物理为您提供缩小范围的空间时才起作用。

通过从根本上改变从数据推断信息的含义,神经形态工程学指出了性能发生巨大飞跃的可能性,即使不是可能性。像量子计算一样,它依赖于我们尚未理解的自然力量:在这种情况下,就是噪声的信息力量。如果所有的研究都付诸实践,那么我们今天所认为的超级计算机可能会在短短几年内完全淘汰,取而代之的是带有合成的,可自行组装的神经元的服务器,可以将它们塞入走廊的壁橱中,从而释放巨型计算机所消耗的空间。扩展数据中心,例如太阳能发电机

版权所有:https://www.eraycloud.com 转载请注明出处