Новая система, разработанная в Массачусетском технологическом институте и Брукхейвенской национальной лаборатории, может обеспечить более быстрый, более надежный и гораздо более энергоэффективный подход к физическим нейронным сетям с использованием аналоговых ионно-электронных устройств для имитации синапсов.
Ионная технология может обеспечить энергоэффективное моделирование процесса обучения мозга для систем искусственного интеллекта нейронных сетей.
Команды по всему миру создают все более сложные системы искусственного интеллекта, называемые нейронными сетями, разработанные в некотором роде для имитации проводной деятельности мозга, для выполнения таких задач, как компьютерное зрение и обработка естественного языка.
Использование современных полупроводниковых схем для моделирования нейронных сетей требует большого объема памяти и высокого энергопотребления. Теперь команда MIT сделала шаг к альтернативной системе, которая использует физические аналоговые устройства, которые могут намного более эффективно имитировать процессы в мозге.
Полученные результаты описаны в журнале Nature Communications в статье профессоров MIT Бильге Йилдиза, Джу Ли, Хесуса дель Аламо и еще девяти в MIT и Брукхейвенской национальной лаборатории. Первым автором статьи является Xiahui Yao, бывший постдок MIT, который сейчас работает над хранением энергии в GRU Energy Lab.
Нейронные сети пытаются симулировать способ обучения в мозге, основанный на постепенном усилении или ослаблении связей между нейронами, известных как синапсы. Основным компонентом этой физической нейронной сети является резистивный переключатель, электронная проводимость которого может регулироваться электрически. Этот контроль, или модуляция, эмулирует усиление и ослабление синапсов в мозге.
В нейронных сетях, использующих обычную кремниевую микрочиповую технологию, моделирование этих синапсов является очень энергоемким процессом. Для повышения эффективности и достижения более амбициозных целей нейронных сетей исследователи в последние годы исследовали ряд физических устройств, которые могли бы более точно имитировать способ постепенного укрепления и ослабления синапсов в процессе обучения и забвения.
До сих пор большинство потенциальных аналоговых резистивных устройств для таких симулированных синапсов были либо очень неэффективными, с точки зрения использования энергии, либо выполнялись непоследовательно от одного устройства к другому или от одного цикла к другому. Исследователи говорят, что новая система преодолевает обе эти проблемы. «Мы решаем не только энергетические проблемы, но и проблемы, связанные с повторяемостью, которые распространены в некоторых существующих концепциях», — говорит Йилдиз, профессор ядерной науки и техники, материаловедения и инженерии.
«Я думаю, что сегодня узким местом для создания [нейронных сетей] приложений является энергоэффективность. Просто требуется слишком много энергии, чтобы обучить эти системы, особенно для применения на периферии, например, для автономных автомобилей», — говорит дель Аламо, профессор Доннера на факультете электротехники и компьютерных наук. Он добавляет, что многие такие требовательные приложения просто неосуществимы с современными технологиями.
Резистивный переключатель в этой работе представляет собой электрохимическое устройство, которое изготовлено из триоксида вольфрама (WO 3 ) и работает аналогично зарядке и разрядке батарей. Ионы, в этом случае протоны, могут мигрировать в или из кристаллической решетки материала, объясняет Йилдиз, в зависимости от полярности и силы приложенного напряжения. Эти изменения остаются в силе до тех пор, пока не будут изменены обратным приложенным напряжением — так же, как и усиление или ослабление синапсов.
«Механизм похож на легирование полупроводников», — говорит Ли, который также является профессором ядерной науки и техники, материаловедения и техники. В этом процессе проводимость кремния может быть изменена на много порядков путем введения посторонних ионов в решетку кремния. «Традиционно эти ионы были имплантированы на заводе», — говорит он, но с новым устройством ионы закачиваются в решетку и выходят из нее в динамичном, непрерывном процессе. Исследователи могут контролировать, сколько ионов «допанта» входят или выходят, контролируя напряжение, и «мы продемонстрировали очень хорошую повторяемость и эффективность использования энергии», говорит он.
Йилдиз добавляет, что этот процесс «очень похож на работу синапсов биологического мозга. Там мы работаем не с протонами, а с другими ионами, такими как кальций, калий, магний и т. Д., И, перемещая эти ионы, вы фактически изменяете сопротивление синапсов, и это является элементом обучения ». По ее словам, процесс, происходящий в триоксиде вольфрама в их устройстве, подобен модуляции сопротивления, происходящей в биологических синапсах.
«То, что мы продемонстрировали здесь, — говорит Йилдиз, — даже если это не оптимизированное устройство, достигает порядка потребления энергии на единицу площади на единицу изменения проводимости, близкого к таковому в мозге». По ее словам, попытка выполнить ту же задачу с обычными полупроводниками типа CMOS потребует в миллион раз больше энергии.
По словам Ли, материалы, использованные при демонстрации нового устройства, были выбраны из-за их совместимости с существующими системами производства полупроводников. Но они включают полимерный материал, который ограничивает устойчивость устройства к теплу, поэтому команда все еще ищет другие варианты протонопроводящей мембраны устройства и лучшие способы герметизации его источника водорода для длительных операций.
«На уровне материалов для этого устройства предстоит провести много фундаментальных исследований», — говорит Йилдиз. Текущие исследования будут включать «работу по интеграции этих устройств с существующими КМОП-транзисторами», — добавляет дель Аламо. «Все это требует времени, — говорит он, — и это открывает огромные возможности для инноваций, отличные возможности для наших студентов начать карьеру».
Исследование, в которое вошли исследователи из Брукхейвенской национальной лаборатории, а также MIT, было поддержано программой Skoltech, MIT Quest for Intelligence и Национальным научным фондом США.
Источник: Дэвид Л. Чендлер | MIT News Office
Фото: MIT