9 марта, 2023 
adminGWP Исслeдoвaтeли изо Унивeрситeтa Oсaки прoвeли уникaльный экспeримeнт и пoкaзaли, кaк нeйрoсeть Stable Diffusion мoжeт читaть мысли. Этoт мeтoд рeкoнструируeт изoбрaжeния с скaнoв фМРТ с удивитeльнoй тoчнoстью. Мoдeли ИИ ужe дaвнo испoльзуются учeными на дeкoдирoвaния инфoрмaции с человеческого мозга. Что ни говорите только сейчас были получены четкие изображения того, о нежели думали люди.
Едва попыток прочитать мысли
В начале 2018 возраст группа исследователей с Японии продемонстрировала, ни дать ни взять нейронная сеть восстанавливает изображения с записей фМРТ. В 2019 году ученые реконструировали изображения нейронов обезьян, а исследовательская класс под руководством Жана-Реми Кинга опубликовала новую работу, описав, ровно нейросеть извлекает конферанс из данных фМРТ.
В октябре 2022 лета группа из Техасского университета в Остине показала, зачем модели GPT могут чистить текст, описывающий семантическое обслуживание, которое человек видел в видео, сделанном возьми основе сканирования фМРТ. В ноябре 2022 лета исследователи из Национального университета Сингапура, Китайского университета Гонконга и Стэнфордского университета использовали нейросеть MinD-Vis, (для того реконструировать изображения с сканирования фМРТ.
В стр день весны — Семь святых дев: что такое? нельзя делать 31 мая
Бесит: благодаря этому нельзя употреблять сие слово в своей речи
В РФ разработали программа эталонных тарифов бери теплоснабжение
Четкие изображения были получены только-тол теперь
Недавно исследователи с Высшей школы передовых биологических наук Университета Осаки и CiNet, NICT, Ниппон, использовали диффузионную лекало, а точнее, стабильную диффузию, исполнение) реконструкции визуальных переживаний объединение данным фМРТ. Возле этом команда избавляет ото необходимости обучать и устанавливать сложные модели ИИ.
И старый и малый, что нужно обучить, — сие простые линейные модели, которые сопоставляют сигналы фМРТ нижних и верхних зрительных областей мозга с отдельными компонентами стабильной диффузии. В частности, исследователи сопоставляют области мозга в духе входные данные про кодировщиков изображений и текста.
Нижние области мозга сопоставляются с кодировщиком изображений, а верхние — с кодировщиком текста. Объединение словам ученых, сие позволяет системе эксплуатировать композицию изображения и семантическое обслуживание для реконструкции. Исследователи используют изображения фМРТ с набора данных Natural Scenes Dataset (NSD) на своего эксперимента и проверяют, могут ли они пускать в ход стабильную диффузию про реконструкции того, что же видели испытуемые.
Впечатляющие результаты эксперимента
В результате проведенных экспериментов оказалось, по какой причине комбинация декодирования изображения и текста обеспечивает в особенности точную реконструкцию. Точно по словам команды, существуют различия в точности в обществе субъектами, но они коррелируют с качеством изображений фМРТ.
В области словам ученых, колорит реконструкции находится получи одном уровне с лучшими текущими методами, однако без необходимости обучения используемых спустя некоторое время моделей ИИ. Так есть работа с нейросетью в (настоящий протекает быстрее и минуя необходимости обучать ее и устанавливать многократно сложнейшие коды. Средство сама генерирует нейронную давление мозга в изображения.
Внутренние резервы ИИ безграничны
Братия ученых также использует модели, полученные изо данных фМРТ, пользу кого исследования отдельных строительных блоков стабильной диффузии. Скажем, их интересует, во вкусе семантический контент генерируется в процессе обратной диффузии иначе говоря какие процессы происходят в U-Net.
Сверх того того, команда количественно интерпретирует преобразования изображения получи и распишись разных этапах их появления в мозгу человека. Так есть ИИ раскладывает мысли сверху составляющие и срисовывает их, представляя в виде четких изображений. Таким образом, исследователи стремятся протащить свой вклад в лучшее усвоение моделей диффузии с биологической точки зрения, которые во всю ширь используются, но всегда еще плохо изучены.
Нашли перебои? Пожаловаться на жизнь
Опубликовано в рубрике