减少人工智能的碳足迹

人工智能已经成为某些伦理关注的焦点,但它也存在一些重大的可持续性问题。

去年6月,马萨诸塞大学阿姆赫斯特分校(University of Massachusetts at Amherst)的研究人员发布了一份令人震惊的报告,估计训练和搜索某种神经网络架构所需的能量大约涉及62.6万磅二氧化碳的排放。这相当于包括汽车制造在内的美国汽车平均寿命排放量的近五倍。

在模型部署阶段,这个问题变得更加严重,此时需要在不同的硬件平台上部署深度神经网络,每个硬件平台具有不同的属性和计算资源。

麻省理工学院的研究人员开发了一种新的自动化人工智能系统,用于训练和运行某些神经网络。结果表明,通过在一些关键方面提高该系统的计算效率,该系统可以减少碳排放的磅数——在某些情况下,减少到低三位数。

研究人员的系统被称为“一次性网络”,它训练一个大型神经网络,其中包含许多预先训练过的不同大小的子网络,这些子网络无需再训练就可以适应不同的硬件平台。这大大降低了为新平台(可能包括数十亿个物联网设备)训练每个专门的神经网络所需的能量。利用该系统来训练一个计算机视觉模型,他们估计,与当今最先进的神经结构搜索方法相比,这个过程需要大约1/ 1300的碳排放,同时推理时间减少了1.5-2.6倍。

“我们的目标是更小、更环保的神经网络,”电子工程与计算机科学系助理教授宋涵表示。“迄今为止,搜索高效的神经网络架构已经产生了巨大的碳足迹。但我们用这些新方法减少了几个数量级的碳足迹。”

这项工作是在Satori上完成的,Satori是IBM捐赠给麻省理工学院的一个高效计算集群,每秒可以执行2千万亿次计算。这篇论文将于下周在学习表征国际会议上发表。和韩一起提交论文的是来自EECS、MIT-IBM沃森人工智能实验室和上海交通大学的四名本科生和研究生。

创建一个“一次性”的网络

研究人员是在人工智能的最新进展AutoML(自动机器学习)的基础上建立了这个系统,它消除了人工网络设计。神经网络自动搜索大量的网络架构设计空间,例如,为特定的硬件平台量身定制的网络架构。但是仍然存在一个培训效率的问题:每个模型都必须被选中,然后从头开始为其平台架构进行培训。

“我们如何为如此广泛的设备——从10美元的物联网设备到600美元的智能手机——有效地培训所有这些网络?”考虑到物联网设备的多样性,神经架构搜索的计算成本将会激增,”韩说。   

研究人员发明了一种自动系统,它只训练一个单一的、大型的“一次性”(OFA)网络,作为一个“母亲”网络,嵌套了数量非常多的子网,这些子网很少被母亲网络激活。OFA与所有的子网络共享所有的学习权值——这意味着它们基本上是经过预先训练的。因此,每个子网可以在推理时独立运行而无需再训练。

该团队训练了一个OFA卷积神经网络(CNN)——通常用于图像处理任务——具有多种多样的架构配置,包括不同数量的层和“神经元”、不同大小的过滤器和不同的输入图像分辨率。给定一个特定的平台,系统使用OFA作为搜索空间,根据与平台的能力和速度限制相关的准确性和延迟权衡,找到最佳的子网。例如,对于物联网设备,系统会找到一个更小的子网。对于智能手机,它将选择更大的子网,但根据电池寿命和计算资源的不同,子网的结构也不同。OFA将模型训练和架构搜索解耦,并将一次性训练成本分摊到多个推理硬件平台和资源约束上。

这依赖于一种“渐进收缩”算法,它能有效地训练OFA网络同时支持所有的子网。它首先用最大大小训练整个网络,然后逐步缩小网络的大小以包括更小的子网。小的子网络在大的子网络的帮助下一起成长。最后,支持不同大小的所有子网络,允许基于平台的能力和速度限制进行快速专门化。它支持许多硬件设备,在添加新设备时,培训成本为零。

研究人员发现,
的总容量超过10的10次方分之一,即1后面跟19个0,即建筑设置,可能覆盖了所有需要的平台。但是训练和搜索OFA要比在每个平台上花费数小时训练每个神经网络要有效得多。此外,OFA不影响推理的准确性和推理的效率。相反,它在移动设备上提供了最先进的ImageNet精度。而且,与行业领先的CNN最先进的模型相比,研究人员说OFA提供1.5-2.6倍的加速,具有更高的准确性。“这是一项突破性的技术,”韩说。“如果我们想在消费设备上运行强大的人工智能,我们必须想出如何缩小人工智能的尺寸。”

“这个模型真的很紧凑。麻省理工学院- ibm沃森人工智能实验室研究员、该论文的合著者庄干表示:“我很高兴看到OFA能够在边缘设备上继续推动高效深度学习的边界。”

IBM研究员、麻省理工学院-IBM沃森人工智能实验室(MIT-IBM Watson AI Lab)成员约翰•科恩(John Cohn)表示:“如果要让人工智能继续快速发展,我们需要减少它对环境的影响。开发方法使人工智能模型更小、更高效的好处是,这些模型可能也会表现得更好。”

新闻旨在传播有益信息,英文原版地址:http://news.mit.edu/2020/artificial-intelligence-ai-carbon-footprint-0423

https://petbyus.com/27703/