Истории про оцифрованный мозг мухи выглядели всё более странно: на нём уже запускали Bad Apple, а рядом дёргалась модель дрозофилы. Я смотрел и не понимал, что здесь вообще означает «запускали».
Коннектом — это связи между нейронами. Но откуда взялось движущееся тело? Смоделированы ли мышцы? А жужжальца? Что именно связывает картинку на входе с движением справа?
С подходящим образованием и некоторым опытом нейровизуализации это непонимание было особенно обидным. Я решил разобраться через переделку существующего демо.
Вместо Bad Apple — Чуковский
Я взял репозиторий badapple-fly и с помощью Codex стал переделывать демо. Вместо исходного видео решил «запустить» «на мухе» стихотворение про Муху-цокотуху. Кавычки здесь делают важную работу.
Буквы превращаются в визуальный сигнал и проецируются на нейронное представление. Рядом показано движение, полученное через приближённый двигательный декодер. Между текстом, подсветкой нейронов и телом есть преобразования и допущения.
Муха при этом не читает Чуковского и не понимает стихотворение. Проекция букв не становится чтением оттого, что рядом нарисован мозг. А убедительно двигающаяся модель тела сама по себе не доказывает, что вся цепочка биологически точна.
Что здесь моё
Моя часть — выбор материала и переделка существующего демо в этот странный художественный опыт. Коннектом и модель тела — работа других исследователей. В основе используются MaleCNS, NeuroMechFly и badapple-fly; их важно видеть вместе с моей адаптацией.
Проект получился откровенно тупым, зато я хоть понял, что там происходит. Теперь за фразой «стихотворение на мозге мухи» для меня стоят конкретные преобразования, исходные работы и допущения. Чуковский пригодился для отладки собственного понимания.
Открыть интерактивную «Муху-цокотуху».