Исследователи из Корнелла разработали оптическую нейронную сеть (ОНС), которая может отфильтровывать необходимую информацию из сцены до того, как визуальное изображение будет обнаружено камерой, — метод, который может позволить создать более быстрые, компактные и энергоэффективные датчики изображения.
В работе «Image Sensing with Multilayer, Nonlinear Optical Neural Networks», опубликованной в журнале Nature Photonics, исследователи из лаборатории Питера МакМахона, доцента кафедры прикладной и инженерной физики Корнеллского инженерного института, смогли продемонстрировать, что предварительные процессоры ONN могут достигать коэффициентов сжатия до 800 к 1 — что эквивалентно сжатию входного изображения размером 1600 пикселей всего до 4 пикселей — и при этом обеспечивать высокую точность в нескольких представительных задачах компьютерного зрения.
Под руководством Тяню Ванга (Tianyu Wang), постдокторального научного сотрудника Эрика и Венди Шмидт AI in Science, и докторанта Мандара Сохони (Mandar Sohoni), исследователи протестировали датчик изображения ONN с помощью эталонов машинного зрения, использовали его для классификации изображений клеток в проточных цитометрах, а также продемонстрировали его способность измерять и идентифицировать объекты в 3D-сценах.
Разница между цифровыми системами и оптической нейронной сетью заключается в том, что в цифровых системах изображения сначала сохраняются, а затем передаются в цифровой электронный процессор, который извлекает информацию. Такая электронная обработка требует больших затрат энергии и, что более важно, гораздо больше времени на обработку и интерпретацию данных.
«В нашей установке используется оптическая нейронная сеть, где свет, поступающий на датчик, сначала обрабатывается через серию матрично-векторных умножений, которые сжимают данные до минимально необходимого размера — в данном случае до четырех пикселей», — сказал Ванг. «Это похоже на то, как работает человеческое зрение: Мы замечаем и запоминаем ключевые особенности того, что видим, но не все несущественные детали. Отбрасывая нерелевантную или избыточную информацию, ONN может быстро отсортировать важную информацию, получая сжатое представление исходных данных, которое может иметь более высокое соотношение сигнал/шум на пиксель камеры».
Группа также протестировала реконструкцию исходного изображения с использованием данных, полученных кодерами ONN, которые были обучены только классифицировать изображение.
«Восстановленные изображения сохранили важные особенности, что говорит о том, что сжатые данные содержали больше информации, чем просто классификация», — сказал Ванг. «Хотя это и не идеальный результат, но он очень интересен, так как позволяет предположить, что при более качественном обучении и улучшении моделей, ONN может дать более точные результаты».
Ванг и Сохони считают, что их работа может иметь практическое применение в таких областях, как раннее выявление рака, где раковые клетки должны быть выделены из миллионов или миллиардов других клеток. При использовании проточной цитометрии клетки быстро проносятся мимо детектора в микрофлюидическом проточном канале. ONN, обученный определять физические характеристики раковых клеток, может быстро обнаружить и мгновенно изолировать эти клетки.
