Глубокие нейронные сети достигли многообещающих результатов по нескольким задачам, включая классификацию изображений и текста. Тем не менее, многие из этих вычислительных методов склонны к так называемому катастрофическому забыванию, что, по сути, означает, что, когда их обучают новой задаче, они, как правило, быстро забывают, как выполнять задачи, которым они были обучены в прошлом.
Исследователи из Université Paris-Saclay-CNRS недавно представили новую технику для уменьшения забвения в бинаризованных нейронных сетях . Этот метод, представленный в статье, опубликованной в Nature Communications , вдохновлен идеей синаптической метапластичности, процесса, посредством которого синапсы (соединения между двумя нервными клетками ) адаптируются и изменяются с течением времени в ответ на переживания.
«Моя группа работала над бинаризованными нейронными сетями в течение нескольких лет», – сказал TechXplore Дэмиен Кверлиоз, один из исследователей, проводивших исследование. «Это очень упрощенная форма глубоких нейронных сетей, флагманский метод современного искусственного интеллекта, который может выполнять сложные задачи с меньшими требованиями к памяти и потреблению энергии. Параллельно с этим Аксель, тогда аспирант первого курса нашей группа начала работу над моделями синаптической метапластичности, введенными в 2005 году Стефано Фузи ».
Исследования в области нейробиологии предполагают, что способность нервных клеток адаптироваться к опыту – это то, что в конечном итоге позволяет человеческому мозгу избегать «катастрофического забывания» и помнить, как выполнить данную задачу, даже после того, как взялся за новую. Однако большинство агентов искусственного интеллекта (ИИ) очень быстро забывают ранее изученные задачи после изучения новых.
«Почти случайно мы поняли, что бинаризованные нейронные сети и синаптическая метапластичность, две темы, которые изучались с очень разными мотивами, на самом деле связаны», – сказал Кверлиоз. «И в бинаризованных нейронных сетях, и в модели метапластичности Фузи сила синапсов может принимать только два значения, но процесс обучения включает в себя« скрытый »параметр. Так мы пришли к идее, что бинаризованные нейронные сети могут предоставить способ чтобы облегчить проблему катастрофического забывания в ИИ ».
Чтобы воспроизвести процесс синаптической метапластичности в бинаризованных нейронных сетях, Кверлиоз и его коллеги представили «механизм консолидации», при котором чем больше синапс обновляется в одном и том же направлении (то есть, когда значение его скрытого состояния увеличивается или уменьшается), ему должно быть труднее переключиться обратно в противоположном направлении. Этот механизм, вдохновленный моделью метапластичности Фузи, лишь немного отличается от способа, которым обычно обучаются бинаризованные нейронные сети, но он оказывает значительное влияние на катастрофическое забывание сети.
«Наиболее заметные результаты нашего исследования заключаются, во-первых, в том, что новый механизм консолидации, который мы внедрили, эффективно снижает забвение, и делает это только на основе локального внутреннего состояния синапса, без необходимости изменять метрику, оптимизированную сетью, между задачами. , в отличие от других подходов литературы, “Аксель Лаборье, доктор философии первого года обучения. Студент, проводивший исследование, рассказал TechXplore. «Эта функция особенно привлекательна для разработки оборудования с низким энергопотреблением, поскольку необходимо избегать накладных расходов на перемещение данных и вычисления».
Результаты, собранные этой командой исследователей, могут иметь важное значение для разработки агентов ИИ и глубоких нейронных сетей . Механизм консолидации, представленный в недавней статье, может помочь смягчить катастрофическое забывание в бинаризованных нейронных сетях, позволяя разрабатывать агенты ИИ, которые могут хорошо выполнять различные задачи. В целом, исследование Querlioz, Laborieux и их коллег Максенса Эрноулта и Тифенн Хирцлин также подчеркивает важность черпания вдохновения из теории нейробиологии при попытке разработать более эффективные агенты искусственного интеллекта.
«Наша группа специализируется на разработке оборудования искусственного интеллекта с низким энергопотреблением с использованием нанотехнологий», – сказал Кверлиоз. «Мы считаем, что метапластические бинаризованные синапсы, которые мы предложили в этой работе, очень адаптированы для реализации на основе нанотехнологий, и мы уже начали проектировать и производить новые устройства, основанные на этой идее».