«Два лічильники – одне рішення»: як мозок поєднує звук і зображення, щоб швидше натискати кнопку

Коли чути шелест у траві та мерехтіння тіні, ми реагуємо швидше, ніж якби це був просто звук чи спалах. Класика. Але що саме відбувається в мозку за ці частки секунди? Нова стаття в Nature Human Behaviour показує, що зір і слух накопичують докази окремо, і в момент прийняття рішення їхня «сума» запускає єдиний руховий тригер. Іншими словами, у голові є два сенсорних акумулятори, які спільно активують єдиний руховий механізм.

Передісторія

Як мозок швидко приймає рішення у «шумному світі» звуків та зображень – це багатовікове питання, але без чіткої відповіді. З кінця 19-го та 20-го століть у психофізиці відомий «ефект надлишкових сигналів» (RSE): якщо ціль пред'являється одночасно у двох модальностях (наприклад, спалах і тон), реакція відбувається швидше, ніж з одним сигналом. Суперечка точилася щодо механізму: «перегони» незалежних каналів (модель перегонів), де перемагає найшвидший сенсорний процес, або коактивація, де дані з різних модальностей фактично додаються, перш ніж викликати реакцію. Формальні тести (такі як нерівність Міллера) допомогли на поведінковому рівні, але не показали, де саме відбувається «згин» – на боці сенсорних акумуляторів чи вже на моторному тригері.

Протягом останніх 10-15 років нейрофізіологія запропонувала надійні маркери цих латентних стадій. Найбільш помітними є центро-тім'яна позитивність (ЦПП), надмодальний сигнал ЕЕГ «накопичення до порогу», який добре узгоджується з дрейфово-дифузійними моделями прийняття рішень, та бета-зниження (~20 Гц) над лівою моторною корою як показник підготовки до руху. Ці сигнали дозволили пов'язати обчислювальні моделі з реальними ланцюгами мозку. Але ключові прогалини залишаються: чи накопичуються аудіо- та візуальні дані в одному чи двох окремих акумуляторах? І чи існує єдиний моторний поріг для мультимодального прийняття рішень, чи кожна модальність «оцінюється» за окремими критеріями?

Додатковою складністю є визначення часу. У реальних умовах зір і слух мають мікросекундні-мілісекундні десинхронізації: незначний зсув у часі може замаскувати справжню архітектуру процесу. Тому необхідні парадигми, які одночасно контролюють правило реагування (відповідати на будь-яку модальність або лише на обидві одночасно), варіюють асинхронність і дозволяють поєднувати поведінкові розподіли часу реакції з динамікою маркерів ЕЕГ в єдиному моделюванні. Саме такий підхід дозволяє розрізняти «підсумовування сенсорних акумуляторів з подальшим запуском одного мотора» від сценаріїв «канальної гонки» або «раннього злиття в єдиний сенсорний потік».

Зрештою, існують практичні мотивації, що виходять за рамки базової теорії. Якщо сенсорні акумулятори справді розділені, а моторний тригер спільний, то в клінічних групах (наприклад, паркінсонізм, СДУГ, розлади спектру) вузьке місце може знаходитися на різних рівнях – у накопиченні, конвергенції або моторній підготовці. Для людино-машинних інтерфейсів та систем попередження фаза та час сигналів є критично важливими: правильне фазування звуку та зображення має максимізувати спільний внесок у моторний поріг, а не просто «збільшувати гучність/яскравість». Ці питання є контекстом нової статті в Nature Human Behaviour, яка досліджує мультимодальне виявлення одночасно на рівні поведінки, динаміки ЕЕГ (CPP та бета) та обчислювального моделювання.

Що саме вони з'ясували?

• У двох ЕЕГ-експериментах (n=22 та n=21) учасники виявляли зміни в анімації точок (зір) та серії тонів (слух), натискаючи кнопку або при зміні одного з них (надмірне виявлення), або лише при зміні обох (кон'юнктивне виявлення).
• Дослідники контролювали нейронний «лічильник» доказів – центро-тім'яну позитивність (ЦТП) – та динаміку бета-активності лівої півкулі (~20 Гц) як маркер підготовки до руху. Ці сигнали порівнювали з розподілами часу реакції та обчислювальними моделями.
• Підсумок: слухові та візуальні докази накопичуються в окремих процесах, і при надмірному виявленні їхній кумулятивний внесок субадитивно (менше за просту суму) коактивує один пороговий руховий процес – той самий «тригер» дії.

Важливою деталлю є перевірка на «розсинхронізацію». Коли дослідники ввели невелику асинхронність між аудіо та візуальними сигналами, модель, у якій сенсорні акумулятори спочатку інтегруються, а потім інформують рухову систему, пояснила дані краще, ніж акумулятори, що «змагаються» один з одним. Це підкріплює ідею про те, що сенсорні потоки працюють паралельно, але сходяться в одному вузлі прийняття рішень руховими системами.

Чому вам потрібно це знати (приклади)

• Клініка та діагностика. Якщо сенсорні акумулятори розділені, а руховий поріг спільний, то різні групи пацієнтів (з РАС, СДУГ, паркінсонізмом) можуть очікувати різні «вузли зриву» – в накопиченні, в конвергенції або в руховому трікеруванні. Це допомагає точніше розробляти біомаркери та тренування уваги/реакції.
• Людино-машинні інтерфейси: Конструкція попереджувальних сигналів та мультимодальних інтерфейсів може виграти від оптимального фазування звукових та візуальних сигналів, щоб спільна активація двигуна була швидшою та стабільнішою.
• Нейронні моделі прийняття рішень. Результати пов'язують довгострокові поведінкові «суперечки» (раса проти коактивації) зі специфічними маркерами ЕЕГ (ЦПФ та бета-ритм моторної кори), наближаючи обчислювальні моделі до реальної фізіології.

Як це було зроблено (методологія, але коротко)

• Парадигми: надлишкова (реагують на будь-яку модальність) та кон'юнктивна (реагують лише на обидві одночасно) – класична техніка, яка дозволяє «зважити» внесок кожної сенсорної гілки. Плюс окремий експеримент із заданою асинхронністю між аудіо та відео.
• Нейросигнали:
  • CPP – «супрамодальний» індекс накопичення сенсорних доказів до порогу;
  • Зниження бета-впливу в лівій моторній корі є показником підготовки до руху. Порівняння їхніх часових профілів показало різні амплітуди ЦПВ для слухових та зорових цілей (ознака окремих акумуляторів) та спільний рух бета-механізму (ознака спільного моторного порогу).
• Моделювання: спільне апроксимування поведінкових розподілів RT та динаміки ЕЕГ. Модель з інтеграцією сенсорних акумуляторів перед руховим вузлом виграла порівняння, особливо за наявності асинхронності.

Що це змінює в картині мозку?

• Мультимодальність ≠ «змішай і забудь». Мозок не скидає всі докази в один горщик; він веде паралельні записи по каналах, а інтеграція відбувається ближче до дії. Це пояснює, чому мультимодальні сигнали прискорюють час реакції — вони одночасно активують той самий моторний прапорець.
• Субадитивність є нормою. «Сума» сенсорних сигналів менша за просту арифметику, але її достатньо для швидшого досягнення рухового порогу. Отже, метою інтерфейсу є не «додати гучність та яскравість», а синхронізувати конвергенцію.
• Міст між психофізикою та нейрофізіологією: старі поведінкові ефекти «надлишкових сигналів» отримують механістичне пояснення за допомогою CPP та бета-маркерів.

Обмеження та наступний крок

• Вибірка складається зі здорових дорослих, які проходять лабораторні дослідження; наступним етапом є клінічні висновки. Необхідні тести на пацієнтах та в природних мультимодальних середовищах.
• ЕЕГ забезпечує чудову часову, але обмежену просторову картину; логічно доповнити її МЕГ/інвазивною реєстрацією та ефективними моделями зв'язку.
• Теорія передбачає, що тренування в часі аудіовізуальних сигналів повинно вибірково покращувати моторну стадію без зміни сенсорних акумуляторів – це гіпотеза, яку можна перевірити в прикладних завданнях (спорт, авіація, реабілітація).

Короткий зміст

Мозок веде окремі «лічильники» для зору та слуху, але вирішує однією кнопкою. Розуміючи, де саме відбувається «згортання» сенсорної інформації в дію, ми можемо точніше налаштовувати діагностику, інтерфейси та реабілітацію – від шоломів пілотів до телемедицини та нейроосвіти уваги.

Джерело: Egan, JM, Gomez-Ramirez, M., Foxe, JJ та ін. Різні аудіо- та візуальні акумулятори коактивують моторну підготовку для мультисенсорного розпізнавання. Nat Hum Behav (2025). https://doi.org/10.1038/s41562-025-02280-9