Исследователи из Колледжа электронной информации и оптической инженерии Нанкайского университета использовали гибкие искусственные синапсы для разработки нейроморфной системы восприятия движения, которая реализует мультисенсорные функции мозга на аппаратном уровне и демонстрирует превосходные характеристики восприятия движения.
Доктор Цзян Чэнпенг из Колледжа электронной информации и оптической инженерии Нанькайского университета является первым автором, а профессор Сюй Вентао из Колледжа электронной информации и оптической инженерии Нанькайского университета — автором-корреспондентом статьи «Mammalian-brain-inspired neuromorphic motion-cognition nerve achieves cross-modal perceptual enhancement», которая была опубликована в журнале Nature Communications.
Дизайн нейроморфной системы восприятия движения вдохновлен механизмами мультисенсорной интеграции и пространственного восприятия макаки. Самодвижение макаки стимулирует информацию о движении, такую как инерционные сигналы и сигналы оптического потока в вестибуле и сетчатке. Специальные области коры головного мозга обрабатывают и идентифицируют информацию о движении, закодированную в виде импульсов, а затем реализуют пространственное восприятие путем интеграции информации от различных сенсорных модальностей.
Акселерометры и гироскопы в нейроморфной системе восприятия движения получают сигналы ускорения и угловой скорости, соответственно, которые кодируются в две последовательности спайков, передаваемых на высокопроизводительные синаптические транзисторы для обработки. Корреляция между двумя последовательностями импульсов, а также их временная связь влияют на синаптическую пластичность устройства, тем самым влияя на выходной сигнал устройства. Сигналы движения классифицируются и идентифицируются путем оценки средней частоты следования импульсов и выходного тока синаптического устройства.
Кроме того, оптический датчик потока, вибротактильный датчик и инерционный датчик составляют сенсорный блок, который может обнаруживать сенсорную информацию визуального, тактильного и акселерационного режимов. Информация от различных типов датчиков может быть эффективно интегрирована, что значительно повышает точность распознавания движения (более 94%). Экспериментальные результаты согласуются с эффектом усиления восприятия мозга. Более того, система может быть прикреплена к коже человека или установлена на небольших дронах для выполнения сложных задач, таких как распознавание движения человека и траектории полета дрона, благодаря таким характеристикам, как удобство ношения, высокая степень интеграции и низкое энергопотребление.
По сути, система имитирует процесс интеграции сенсорных сигналов в мозге млекопитающих и реализует мозгоподобное восприятие движения, используя стратегию спайкового кодирования сенсорных сигналов, характеристики спайк-интеграции синаптических устройств и метод пространственно-временного распознавания сигналов синаптического тока.
