计算机存在的问题
约翰·冯·诺依曼 (John von Neumann) 确实不是一个家喻户晓的名字,但他的影响力无处不在,可能就在您的口袋里。1945 年,冯·诺依曼描述了一种简单的计算机结构——一种组合必要的组件构建计算系统的方法 [1]。后来采用这种结构制造了第一台电子计算机 ENIAC。
冯·诺依曼结构包括两个关键组件:处理计算的中央处理单元 (CPU) 和存储数据和指令的内存。它们通过总线连接,总线是在两个组件之间来回传输数据的通信通道。
尽管自 20 世纪 40 年代以来计算领域取得了巨大进步,但几乎所有现代计算系统——从笔记本电脑和智能手机到简单的计算器——仍是按照冯·诺依曼的设计原则制造的。
但这种结构有一个重要的局限性。由于 CPU 和内存是独立的组件,计算性能受到总线在两者之间传输数据的速度的限制。这就是所谓的冯·诺依曼瓶颈。
该瓶颈尚未表现为不可逾越的前进障碍。事实上,今天的普通智能手机比世纪之交的超级计算机更强大,功能更丰富。部分原因在于缓存(存储数据以加快检索的辅助内存单元)和增加总线带宽以加快组件之间的通信等解决方案的出现。我们还开发了更快的处理器和内存,以确保尽可能高效地使用带宽。但这些解决方案反过来又对此类现代系统的供电和冷却提出了额外的能源需求。
尽管冯·诺依曼结构不太可能会过时,但随着 AI 等计算更多和数据更密集的学科的发展,其局限性将变得越来越明显。因此,确保前进的唯一障碍是我们的想象力,而不是冯·诺依曼瓶颈,我们需要从根本上重新思考计算机系统的设计方法。
量子计算机使用完全不同的非冯·诺依曼结构制造,并利用量子力学固有的特性来加速计算中特定的组件。它们保证了原始计算能力,可以轻松解决当今最强大的超级计算机无法解决的数学计算问题 [2]。然而,量子计算是否能够以节能的方式实现这一点,这个问题我们还远未找到答案。
您知道么?
-
20W
人脑平均功耗 [4]
-
10
台等于大脑计算能力的 IBM Summit 超级计算机 [3]
-
860
亿成人大脑中的平均神经元数 [5]
一台计算机的十亿个神经元
神经形态计算是最有前途的非冯·诺依曼途径之一。顾名思义,神经形态结构旨在模拟构成大脑结构的神经元和突触的复杂网络,以及该网络处理信息的方式。
不要将神经形态结构与人工神经网络混淆。后者是算法集合,旨在零散地模仿而不是模拟大脑的处理途径。虽然它们是强大的工具,但它们实际上是运行在冯·诺依曼计算机上的复杂软件环境,面临着同样的局限性。然而,神经形态网络的设计旨在在物理硬件中复制大脑的结构。
“以生物神经元为例,这是一个非常复杂的事物。在神经形态范式中,您构建了一个硬件,其工作原理类似于模型神经元。在人工神经网络中,您实际上是在模仿该模型神经元的行为方式。但是当然,模仿总是比模型神经元本身更慢。”数据科学和分析全球负责人 Mathias Winkel 解释道。
根据人脑对计算系统建模有几个优势。首先,即使当今最强大的超级计算机也落后于人脑的原始计算能力,更不用说人脑灰质的可塑性——它能够在结构和功能上改变,以学习和适应不同的挑战。
要等同于大脑计算能力,您需要大约 10 台世界上第二快的超级计算机 [3]。这些计算机将占据 20 个网球场,重达 3,400 公吨,消耗 150 兆瓦的电力——相当于大约 10 万户普通家庭的用电量。我们的大脑平均只消耗 20 瓦(比标准灯泡要少),重量不到 3 磅,并可在 36度 的凉爽温度下工作 [4]。
与人脑的比例是 3:0
有三个主要特性使大脑既强大又高效。首先是它执行并行处理的能力——同时独立执行多个不同的任务。在成人大脑大约 860 亿个神经元中 [5],处理器和内存之间没有区别。这些神经元中的每一个都有数千个突触将其连接到其他神经元,这意味着每个神经元都有数千条不同的总线在各个方向发送和接收数据。
相比之下,大多数现有的计算机系统只有一条总线,因此只能逐个执行任务。这称为同步计算。与此相反,大脑使用异步或并行计算。但这并不意味着一次执行多个任务。
计算机处理器执行任务的速度由内部时钟控制。该时钟滴答的速度(例如,1 GHz 处理器每秒 10 亿次)是执行不同任务之间的最短间隔。
这就引出了大脑的第二个特性,即能效。然而,标准的计算机处理器总是处于开启状态,时钟不停地滴答,异步系统仅在工作时才消耗能量。“非时钟的优势在于,只要有实际需要,当有数据流传入时,系统就会运行。”高级总监兼创新项目负责人 Stephan Dertinger 表示,“这是一种自然的高效节能方式,就像人脑一样。”
大脑的第三个主要效率是其固有的生物数据压缩方法。芯片上的晶体管或开或关(1 或 0)。计算机用这种简单的二进制数字语言进行通信。而神经元通过模拟脉冲或尖峰进行通信。信息以这些脉冲的时间和频率编码,不仅为 1 和 0,还为中间值创造了机会。因此,神经元之间跨越数千个连接的通信不仅快速有效,而且信息丰富。
效率提高 1000 倍
我们已经在探索利用人工神经网络重现这些通信尖峰,但我们才刚开始触及神经形态硬件实现的可能性的表面。技术研究员 Ralph Dammel 指出:“目前,人们正尝试尽可能多地在现有的芯片制造结构上进行制造。”
包括 IBM、Intel、BrainChip 和 SynSense(我们投资的公司 [6])在内的公司以及学术机构都争相打造实验平台,这些平台可融合数千个处理核心,以模拟神经元,并将它们与人工突触结合在一起。例如,IBM 的 TrueNorth 芯片拥有超过 100 万个神经元,由超过 2.5 亿个突触连接 [7]。
我们正在利用自己在材料和结构方面的专业知识,与多家领先的学术和行业合作伙伴合作。例如,与 Transylvanian 神经科学研究所合作的一个项目旨在更好地理解大脑中的计算 [8];合作伙伴 MemryX 则是一家致力于不受总线限制的内存内计算芯片的初创公司 [9]。通过子公司 Intermolecular,我们正在开发先进类型的数字和模拟内存,这将有助于实现未来的神经形态设计 [10]。
在短期内,与冯·诺依曼设计相比,神经形态结构有望节省大量能源,这对于新技术的可持续发展很重要。Intel 报告称,其 Loihi 神经形态芯片在训练神经网络方面的能效已经是传统硬件的 1,000 倍 [11]。
“当您观察自动驾驶汽车和汽车系统消耗多少能源时,发现能耗在数百瓦的范围内,这需要很多的能源。自动驾驶汽车其实是移动计算机中心,因为需要完成大量的计算。凭借高效的大脑结构,能耗将会下降,而性能相当甚至更好。这就解决了可持续性和成本的问题。”Dertinger 介绍 [12]。
畅想未来
展望未来,神经形态结构的作用不仅仅是降低功耗。它们有可能成为我们目前无法实现,甚至没有想到的 AI 应用的基础。
今天的神经网络允许计算机学习完成单个任务:例如,识别图片中的物体或下围棋 [13]。但在模仿人脑的行为方式时,神经形态计算会使神经网络在某种程度上具有神经可塑性——能够运用所学的知识解决新问题。
“对于神经形态系统的期望是,它们具有非常高的可塑性,能够非常灵活地适应各种情况。想象一下,一辆自动驾驶汽车穿过隧道,驶到阳光下。然后您开车去某个地方,天在下雨,您看到兔子穿过街道,而不是人。这在生活中是一种正常情况,与经典机器学习相比,神经形态系统非常擅长理解这一点。”创新孵化器负责人 Thomas Ehmer 表示,“人们的期望是,我们可以构建一个在某方面接受过训练的系统,能够进行自我调整以适应新情况。”
更智能、更灵活、需要更少训练和人工干预的 AI,将使针对各种问题专门开发具有成本效益的解决方案变得更加可行。“像深度学习这样的现代 AI 技术需要大量的储备工作,这限制了它们在高价值场景中的广泛应用,例如在自动驾驶汽车等大众市场中的使用。如果我们能够创造更智能、需要更少训练数据并对输入变化更稳健的算法,就可以实现许多利基使用案例。”Winkel 表示。
医疗保健的规则改变者
神经形态计算和高级 AI 无疑将丰富人们的生活,但我们公司也在开拓这些技术,因为它们有望在医疗保健领域得到广泛应用。研究人员已经在使用神经形态结构制造更加类人的假体 [14];有朝一日,这些假体甚至可以处理神经输入并像真正的假肢一样使用。
正如神经科学可以帮助我们更好地了解大脑一样,它也将为神经形态结构的开发提供信息。反过来,神经形态计算将加速神经科学的进步。例如,神经形态计算是欧盟人脑计划的核心;该计划是一项多学科倡议,即“建立研究基础设施,以帮助推进神经科学、医学、计算和大脑启发技术的发展 [15]”。
利用神经形态结构对生物系统进行建模以及模拟疾病发展和神经毒性的能力可能会带来无数突破。正如 Ehmer 所说:“如果我们能够利用这一新的计算模式更好地理解大脑的生化工作方式,我们就可以模拟血脑屏障的原理。这是确保药物安全的基本问题之一:它是否会通过血脑屏障?这将反馈到新药的产生中。”
“如果有一天我们可以模拟阿尔茨海默病,我们就能够问‘我们的治疗模式是什么?’然后通过对数字大脑进行数字治疗,我们可以测试它是否有助于阻止模拟疾病的传播,从而确认我们的模式是否也能在真正的大脑中起作用。”
在遥远的未来,我们还可以使用神经形态模型来更好地理解更高级的大脑功能,如认知、自我识别、记忆和学习。但构建如此复杂的系统是一项艰巨的任务。Dertinger 警告说:“我们距人类大脑的全部功能还有几光年的距离。”
“中间还有很多步。”Winkel 补充道,“至于下一个层次,无需训练一个拥有百万张猫图片的系统,就可以识别照片中的猫,这已经是一个突破。但我们离强大的 AI 还很遥远,它基本上可以做人脑能做的一切,除了需要用您的身体做的事情。”
神经形态网络还处于起步阶段,但它们在推动 AI、医疗保健和新技术方面取得巨大进步似乎有着无限的可能。
“人类的创造力会提出一些我们今天甚至无法预见的非常有趣的应用,因为它们在技术上是不可行的。”Dertinger 沉思道,“人们的想象力会让我们大吃一惊。”
我们的承诺
2012 年,联合国制定了 17 个可持续发展目标 (SDG),以应对全球面临的环境、政治和经济方面的迫切挑战。3 年后,所有成员国都采纳了这些目标。 我们承诺,我们的工作将有助于实现这些宏伟的目标。我们在神经形态计算领域的研究和合作符合“目标 9 - 产业、创新和基础设施;目标 9.5 - 加强科学研究。”通过帮助探索和支持神经形态技术的发展,我们致力于推动新技术的创造以及人工智能和医疗科学的进步,从而丰富人们的生活并改善全球医疗保健。
深入了解数据来源:
[1] en.wikipedia.org/wiki/Von_Neumann_architecture
[2] www.merckgroup.com/en/research/science-space/envisioning-tomorrow/smarter-connected-world/quantum-computing.html
[3] www.top500.org/lists/top500/2021/06/ (June 2021)
[4] Horst Simon, 17th SIAM Conference, Paris 2016
[5] www.nature.com/scitable/blog/brain-metrics/are_there_really_as_many/
[6] www.merckgroup.com/en/news/china-seed-fund-investment-06-05-2020.html
[7] www.research.ibm.com/articles/brain-chip.shtml
[8] www.merckgroup.com/en/research/science-space/envisioning-tomorrow/smarter-connected-world/hot-topic-neuroscience.html
[9] www.m-ventures.com/portfolio/memryx
[10] intermolecular.com/accelerating-analog-ai-rd-for-neuromorphic-computing-takes-intelligence/
[11] newsroom.intel.com/editorials/intels-new-self-learning-chip-promises-accelerate-artificial-intelligence/
[12] www.merckgroup.com/en/research/science-space/envisioning-tomorrow/smarter-connected-world/autonomous-driving.html
[13] deepmind.com/research/case-studies/alphago-the-story-so-far
[14] ames.caltech.edu/zhao2017preliminary.pdf
[15] www.humanbrainproject.eu/en/about/overview/