Чем чувственное познание отличается от рационального: Чем отличается чувственное познание от рационального

Иллюзия Понзо (от Грегори, 2005: 1243)

Проблема в том, как ставится визуальная задача, которая призвана проиллюстрировать иллюзию восприятия и предвзятость, и как ее объяснять. Беспокойство здесь заключается в том, что изображение содержит противоречивые стимулы, а именно конфликт между изображением и тем, что он пытается представить в мире.Причина того, что верхняя белая линия на рис. 1 (на первый взгляд) кажется длиннее, заключается в том, что изображение содержит как двумерные, так и трехмерные стимулы. Так как белая линия внизу (рис. 1) короче, чем железнодорожные шпалы, с которыми она перекрывается — и предполагается, что железнодорожные шпалы имеют одинаковую длину, — естественно совершить «ошибку», решив, что верхняя линия в факт длиннее чистой прибыли. Уловка или кажущаяся иллюзия в том, что две белые линии имеют одинаковую длину в двухмерном пространстве.Проблема в том, что исчезающие в горизонте вертикальные линии — сами железнодорожные пути — предполагают трехмерное изображение, хотя основная визуальная задача связана с двухмерным сравнением длин двух горизонтальных белых линий.

Чтобы проиллюстрировать проблему обозначения этого иллюзией, мы могли бы спросить испытуемых, сливаются ли вертикальные линии (железнодорожные пути) и сближаются (по мере того, как они уходят в горизонт), или же они остаются на одинаковом расстоянии.На двухмерной поверхности было бы правильно сказать, что линии сближаются и сливаются. Вот как все выглядит на изображении. Но если картина интерпретируется как представление реальности (пространства, перспективы и горизонта), то мы также можем правильно сказать, что линии , а не , сближаются или сливаются. Более того, если бы верхняя горизонтальная белая линия на самом деле была частью трехмерной сцены, которую представляет изображение, было бы правильно сказать, что верхняя линия действительно длиннее.Экспериментальные исследования визуального пространства с использованием экспериментов Блюменфельда убедительно доказывают, что нет ничего однозначного в представлении пространства на двумерной поверхности или плоскости (например, Erkelens, 2015).

Кроме того, подумайте, что бы произошло, если бы испытуемых попросили выполнить то же задание в естественной среде, а не смотреть на картинку, стоя перед железнодорожными путями, уходящими в горизонт. На какие визуальные иллюзии можно было указать в этой обстановке? Испытуемые могут, например, сообщить, что сами пути кажутся равноудаленными, а железнодорожные шпалы остаются того же размера.Если испытуемые медленно поднимали 1-метровую палку горизонтально перед собой, в какой-то момент палка действительно была бы, казалось бы, равной (двумерной) длины одной из горизонтальных железнодорожных шпал, которые видны дальше на горизонте. .

Мы можем вкратце отметить, что другая интерпретация этих типов перспективных иллюзий заключается в том, что они не только играют с двумя и тремя измерениями, но также улавливают движение (например, Changizi et al., 2008). То есть человеческое восприятие является предположительным и дальновидным, например, ожидая встречных стимулов во время движения.Таким образом, сходящиеся или вспомогательные линии на заднем плане изображения — обычно используемые в визуальных иллюзиях (например, иллюзии Понцо, Геринга, Орбисона и Мюллера-Лайера) — могут быть интерпретированы как предполагающие движение и, таким образом, надлежащим образом «воспринимающие настоящее» и предвосхищающие относительный размер объектов.

Визуальные иллюзии искусственно вызываются, за счет использования проблемы представления трехмерного мира в двух измерениях. Расхождения между двумя и тремя измерениями — так называемые данные или свидетельства визуальных иллюзий и предвзятости — не ошибки, а просто (а) примеры того, как на самом деле работает зрительная система, и (б) артефакты проблемы, которая двумерная представление никогда не соответствует какой-либо трехмерной реальности (мы коснемся обоих вопросов ниже).Использование основанных на перспективе визуальных иллюзий в качестве доказательства возможности ошибок, неправильного восприятия или предвзятости — лишь удобный инструмент для выявления предвзятости. Но любое предубеждение — это только результат искусственного переключения субъектов между представлением и реальностью (или, точнее, одной формой или выражением реальности). Сказать, что ученые точно зафиксировали какую-то предвзятость, просто неправда (Rogers, 2014). Визуальные иллюзии, основанные на перспективе, неправильно используют и интерпретируют более общую проблему, заключающуюся в том, что двухмерные изображения не могут полностью отображать трехмерную реальность.Более того, как мы обсудим, само понятие апелляции к некой единственной проверяемой реальности в качестве ориентира для определения того, что является иллюзией или предвзятостью, и тем, что не так, чревато проблемами с точки зрения науки о зрении (Koenderink, 2015 ; Rogers, 2014; см. Также Frith, 2007).

Мы могли бы отметить, что некоторые ученые в области познания и принятия решений недавно отметили, что зрительные иллюзии неправильно используются для доказательства предвзятости восприятия и познания.Например, Rieskamp et al. пишут: «Так же, как исследователи зрения конструируют ситуации, в которых функционирование зрительной системы приводит к неверным выводам о мире (например, о длине линий в иллюзии Мюллера-Лайера), исследователи в программе эвристики и предвзятости выбирают проблемы в рассуждения, основанные на когнитивной эвристике, приводят к нарушениям теории вероятностей »(Rieskamp, ​​Hertwig, & Todd, 2015: 222).

Мы согласны с этой оценкой, но наша отправная точка более фундаментальна и относится к природе самого восприятия.В частности, дошедшая до нас критика предвзятости (и связанных с ней интерпретаций визуальных иллюзий) предполагает, что люди в конечном итоге узнают истинную природу окружающей среды и, таким образом, сосредотачиваются на альтернативах, таких как байесовский вероятностный взгляд на восприятие. Но проблема в том, что «теория вероятностей прочно основана на вере во всевидящее око» (Koenderink, 2016: 252). Другими словами, идея байесовской «экологической рациональности» (Goldstein & Gigerenzer, 2002; Todd & Gigerenzer, 2012) строится на модели экологической оптики (см.Gibson, 1977), где восприятие также рассматривается в виде фотоаппарата: люди познают истинную природу окружающей среды с течением времени. Понятие экологической рациональности и оптики подразумевает, что иллюзии — это всего лишь временные несоответствия между представлениями и реальным миром. Мы предлагаем принципиально иную точку зрения, которая предполагает, что не так просто (если не невозможно) разделить иллюзию, восприятие и реальность. Таким образом, хотя мы и согласны с критикой, наша отправная точка опирается на совершенно иной взгляд на восприятие, которое мы изложим в следующем разделе.

Чтобы проиллюстрировать дальнейшие опасения по поводу того, как восприятие трактуется в этой литературе, мы сосредоточимся на другом визуальном примере, представленном Канеманом (см. Рис. 2 — из Канемана, 2003a: 1455). Этот пример использует Канеман, чтобы показать «референтную зависимость видения и восприятия» (2003a: 1455). Он, в частности, указывает на зависимость от эталона, обсуждая, как восприятие яркости или яркости может быть изменено путем изменения окружающего контекста, в который встроено фокусное изображение (см.рис.2 — из Канемана, 2003а: 1455). Другими словами, могло бы показаться, что вставленные квадраты на рис. 2 различаются по яркости из-за разной яркости окружающего контекста. Но на самом деле два квадрата-вставки имеют одинаковую яркость. Канеман, таким образом, утверждает, что «яркость области не является однопараметрической функцией световой энергии, которая достигает глаза из этой области» (2003a: 1455). Если не называть это иллюзией, то подразумевается, что зависимость зрения от референции что-то говорит о нашей неспособности судить о вещах объективно и достоверно, даже если фактическая яркость на самом деле может быть объективно измерена. ^{Footnote 9} Большое разнообразие иллюзий, связанных с яркостью и цветом, конечно, также широко изучалось другими (Adelson, 1993, 2000; Gilchrist 2007).

Восприятие яркости (от Kahneman, 2003: 1455)

Проблема с этим примером заключается в том, что использование задач цвета или яркости искусственно эксплуатирует тот факт, что даже невозможно объективное измерение цвета или яркости (Koenderink, 2010). ^{Footnote 10} Использование теней или изменение окружающего контекста или яркости фокального изображения, распространенный подход к выявлению иллюзий, не является доказательством того, что само восприятие является предвзятым или иллюзорным.Канеман прав, когда говорит, что цвет или яркость «зависят от эталона». Но основное предположение остается, что существует также истинный, объективный способ измерить саму яркость — ученым — и подчеркнуть, как человеческое суждение отклоняется от этого объективного измерения. К сожалению, такое измерение цвета невозможно (Koenderink, 2010; ср. Maund, 2006).

Как обсуждалось Purves et al., Любые «несоответствия между легкостью и яркостью… не иллюзии» (2015: 4753).Мы можем сделать вывод, что «истинное» состояние яркости не наблюдается субъектом (Adelson, 1993), но любое наблюдение, измерение или восприятие — это всегда в сочетании с рядом факторов, которые нельзя полностью разделить (Koenderink, 2010 ). Мы можем заботиться только о самом фокальном стимуле сетчатки, но восприятие и наблюдение также являются функцией освещения, отражения и пропускания (Purves et al. 2015). Все эти факторы неразрывно связаны между собой, что делает невозможным получение истинного измерения (Koenderink, 2010).Подобно основанным на перспективе визуальным иллюзиям (где иллюзия искусственно создается за счет использования разрыва между двухмерным представлением и трехмерной реальностью), с задачами, основанными на яркости, ученые только обманывают себя, указывая на наблюдаемые несоответствия между восприятием и реальностью. вместо того, чтобы значимо указывать на предвзятость. Цвет и яркость всегда смешиваются с контекстом (который включает множество факторов), и объективное измерение невозможно (см.Гилкрист и др., 1999; Гилкрист, 2006). Канеман, похоже, согласен с этим, когда отмечает контекстную зависимость восприятия. Но его основной «достоверный» подход к восприятию и видению находится в прямом противоречии с этим аргументом (Kahneman, 2003a: 1460). ^{Footnote 11}

Самое главное, имеет значение природа воспринимающего. Как пояснил Роджерс, «не может быть такой вещи, как« информация о цвете », независимая от системы восприятия, извлекающей эту информацию» (2014: 843).Восприятие цвета или яркости зависит от того, кто и что, в каком контексте производит восприятие. Зрительная система человека очень специфична — то есть она видит или регистрирует выбранную часть светового спектра, реагируя на длины волн от 390 до 700 нм. Мы не стали бы указывать на иллюзию или предвзятость, если бы кто-то не мог видеть спектры за пределами этого диапазона, например, ультрафиолетовый свет, который можно измерить. Как обнаружил Ньютон, мы видим одни аспекты света или цвета, но не видим другие.Хроматические аберрации подчеркивают, как белый свет включает в себя спектр цветов. В самом деле, сама идея «света» может быть изображена как иллюзия, поскольку альтернативные реальности (например, цветовой спектр) могут быть измерены и доказаны. Конечно, любое обсуждение цвета требует отдельного рассмотрения и разделения колориметрии и феноменологии света и цвета (Koenderink, 2010).

Отметим также, что способ представления или субъективного восприятия какого-либо, казалось бы, объективного цвета варьируется в зависимости от вида.Летучая мышь видит мир совсем иначе, чем люди (см. Nagel, 1974). Яркость или цвет не имеют «истинной» или объективной природы (Koenderink, 2010). Это ментальная краска. Разные виды не только видят одни и те же цвета по-разному или не видят их совсем, но и имеют разные интерпретации одних и тех же входных сигналов, стимулов и данных. Более того, встроенный в человеке механизм поддержания постоянства цвета не следует рассматривать как иллюзию (см. Foster, 2011), хотя он часто используется как таковой (ср.Альбертацци, 2013). Например, в реальном мире мы предполагаем постоянство цвета при наличии теней, хотя эта информация может ошибочно использоваться в качестве доказательства иллюзии или предвзятости при оценке яркости или цвета на изображениях (Adelson, 2000; ср. Gilchrist, 2006; Purves , 2014; Роджерс, 2014).

В целом, хотя мы можем измерить (и, таким образом, «объективно» показать наличие) большого диапазона возможных частот в электромагнитном спектре с помощью различных инструментов, тем не менее, зрительная система человека допускает только определенные типы входных сигналов.Это верно не только для яркости, но и для многих других визуальных и перцептивных факторов. Сам этот аргумент ставит под сомнение какой-либо способ измерения восприятия и реальности в первую очередь — аргумент, который мы обратимся к следующему.

% PDF-1.3 % 3044 0 объект > эндобдж xref 3044 88 0000000016 00000 н. 0000004315 00000 н. 0000004437 00000 н. 0000004475 00000 н. 0000004972 00000 н. 0000005116 00000 п. 0000005273 00000 н. 0000005429 00000 п. 0000005549 00000 н. 0000005667 00000 н. 0000005806 00000 н. 0000005945 00000 н. 0000006099 00000 н. 0000006251 00000 н. 0000006387 00000 н. 0000006523 00000 н. 0000006665 00000 н. 0000006830 00000 н. 0000006995 00000 н. 0000007119 00000 н. 0000007245 00000 н. 0000007373 00000 п. 0000007497 00000 н. 0000007623 00000 н. 0000007750 00000 н. 0000007877 00000 н. 0000008004 00000 н. 0000008131 00000 п. 0000008259 00000 н. 0000008387 00000 н. 0000008515 00000 н. 0000008638 00000 п. 0000008764 00000 н. 0000008876 00000 н. 0000008989 00000 п. 0000009105 00000 н. 0000009371 00000 п. 0000009773 00000 н. 0000010213 00000 п. 0000010971 00000 п. 0000011153 00000 п. 0000011394 00000 п. 0000011718 00000 п. 0000012240 00000 п. 0000012632 00000 п. 0000012687 00000 п. 0000014848 00000 п. 0000016776 00000 п. 0000018486 00000 п. 0000020315 00000 п. 0000021097 00000 п. 0000021722 00000 п. 0000023670 00000 п. 0000024118 00000 п. 0000024378 00000 п. 0000025114 00000 п. 0000025326 00000 п. 0000027526 00000 п. 0000028047 00000 п. 0000028184 00000 п. 0000028570 00000 п. 0000028789 00000 п. 0000029093 00000 п. 0000029307 00000 п. 0000029384 00000 п. 0000031563 00000 п. 0000033654 00000 п. 0000040882 00000 п. 0000043997 00000 п. 0000044514 00000 п. 0000044585 00000 п. 0000044761 00000 п. 0000044851 00000 н. 0000051135 00000 п. 0000051419 00000 п. 0000051782 00000 п. 0000058889 00000 п. 0000059272 00000 п. 0000063609 00000 п. 0000066224 00000 п. 0000068918 00000 п. 00000 00000 п. 00000

Рациональные мысли в нейронных кодах

Сложное поведение часто определяется внутренней моделью, которая объединяет сенсорную информацию с течением времени и облегчает долгосрочное планирование для достижения субъективных целей.Фундаментальная проблема нейробиологии заключается в следующем: как мы можем использовать поведение и нейронную активность, чтобы понять эту внутреннюю модель и ее динамические скрытые переменные? Здесь мы интерпретируем поведенческие данные, предполагая, что агент ведет себя рационально, то есть он предпринимает действия, которые оптимизируют его субъективное вознаграждение в соответствии с его пониманием задачи и соответствующих причинных переменных. Мы применяем метод обратного рационального управления (IRC), чтобы изучить внутреннюю модель агента и функцию вознаграждения, максимизируя вероятность его измеренных сенсорных наблюдений и действий.Таким образом, из его поведения извлекаются рациональные и интерпретируемые мысли агента. Мы также предоставляем основу для интерпретации кодирования, перекодирования и декодирования нейронных данных в свете этой рациональной модели поведения. При применении к поведенческим и нейронным данным от смоделированных агентов, выполняющих неоптимально естественную задачу поиска пищи, этот метод успешно восстанавливает их внутреннюю модель и функцию вознаграждения, а также марковскую вычислительную динамику в нейронном многообразии, которое представляет задачу.Эта работа закладывает основу для открытия того, как мозг представляет и вычисляет динамические скрытые переменные.

Чтобы понять, как работает мозг, необходимо интерпретировать нейронную активность. Бихевиористская традиция стремится понимать мозг как черный ящик исключительно на основе его входов и выходов. Современная нейробиология смогла получить важные идеи, заглянув в черный ящик, но по-прежнему в значительной степени связывает измерения нейронной активности с входами и выходами мозга. Хотя это является основой как сенсорной нейробиологии, так и моторной нейробиологии, большая часть нейронной активности поддерживает вычисления и когнитивные функции, которые остаются необъясненными — мы могли бы назвать эти функции «мыслями».«Чтобы понять вычисления мозга, мы должны связать нейронную активность с мыслями. Проблема в том, как измерить мысль?

Мы предлагаем моделировать мысли как динамические убеждения, которые мы приписываем животному, комбинируя когнитивные модели объяснимого искусственного интеллекта (XAI) для решения натуралистических задач с измерениями сенсорных входов и поведенческих выходов животного. Мы определяем задачу животного, исходя из соответствующей динамики его мира, наблюдений, которые оно может производить, действий, которые оно может предпринять, и целей, которых оно стремится достичь.Модели XAI, которые решают эти задачи, генерируют убеждения, их динамику и действия, которые отражают основные вычисления, необходимые для решения задачи и формирования поведения, подобного животному. Имея в руках эти оценочные мысли, мы предлагаем анализ активности мозга, чтобы найти нейронные репрезентации и преобразования, которые потенциально реализуют эти мысли.

Наш подход сочетает в себе гибкость сложных моделей нейронных сетей при сохранении интерпретируемости когнитивных моделей.Это выходит за рамки моделей нейронных сетей черного ящика, которые решают одну конкретную задачу и обнаруживают репрезентативное сходство с мозгом (1–3). Вместо этого мы решаем целую группу задач, а затем находим задачу, решение которой лучше всего описывает поведение животного. Затем мы связываем свойства этой наиболее подходящей задачи с ментальной моделью мира животного и называем ее «рациональной», поскольку это правильное решение в рамках этой внутренней модели мира. Наш метод объясняет поведение и нейронную активность на основе динамики скрытых переменных, но он улучшает обычные методы латентных переменных для нейронной активности, которые просто сжимают данные без учета задач или вычислений (4–6).Напротив, наши скрытые переменные наследуют значение от самой задачи и от убеждений животного в соответствии с его внутренней моделью. Это обеспечивает интерпретируемость как наших поведенческих, так и нейронных моделей.

Мы также хотим быть уверены, что можем объяснить важные нейронные вычисления, лежащие в основе экологического поведения в естественных задачах. Мы можем добиться этого, используя задачи с ключевыми свойствами, которые гарантируют, что наши модельные решения реализуют эти нейронные вычисления. Во-первых, естественная задача должна включать в себя скрытые или скрытые переменные: животные не действуют напрямую на свои сенсорные данные, поскольку данные являются просто косвенным наблюдением за скрытым реальным миром (7).Во-вторых, задача должна включать в себя неопределенность, поскольку реальные сенсорные данные принципиально неоднозначны, и поведение улучшается при взвешивании свидетельств в соответствии с их надежностью. В-третьих, отношения между скрытыми переменными и сенсорными данными должны быть нелинейными в задаче, поскольку, если бы линейных вычислений было достаточно, животным не понадобился бы мозг: они могли бы просто подключить датчики к мышцам и вычислить тот же результат за один шаг. В-четвертых, задача должна иметь соответствующую временную динамику, поскольку действия влияют на будущее; животные должны это учитывать.

В то время как естественные задачи, которые животные выполняют каждый день, действительно обладают этими свойствами, в большинстве исследований в области нейробиологии для простоты выделяется их подмножество, например, двухальтернативные задачи с принудительным выбором, многорукие бандиты или классификация объектов. Они выявили важные аспекты нейронных вычислений, но упустили некоторую фундаментальную структуру вычислений мозга. Недавний прогресс требует увеличения натурализма и сложности задач и моделей.

Эта статья продвигается к пониманию того, как мозг производит сложное поведение, предоставляя методы оценки мыслей и интерпретации нейронной активности.Сначала мы описываем основанный на модели метод, который мы называем обратным рациональным контролем, для вывода скрытой динамики, которая может лежать в основе рациональных мыслей. Затем мы предлагаем теоретическую основу нейронного кодирования, которая показывает, как использовать эти вмененные рациональные мысли для построения интерпретируемого описания нейронной динамики.

Мы проиллюстрируем этот вклад, анализируя задачу, выполняемую искусственным мозгом, показывая, как проверить гипотезу о том, что нейронная сеть имеет неявное представление релевантных для задачи переменных, которые можно использовать для интерпретации нейронных вычислений.В качестве примера мы выбираем простую, но экологически критическую задачу — добычу пищи — для решения которой агент должен учитывать четыре важных свойства, упомянутых выше: скрытые переменные, частичную наблюдаемость, нелинейности и динамику. Наши общие подходы должны служить ценными инструментами для интерпретации поведения и активности мозга реальных агентов, выполняющих натуралистические задачи.

Результаты I. Моделирование поведения как рационального

В неопределенной и частично наблюдаемой среде животные учатся планировать и действовать на основе ограниченной сенсорной информации и субъективных ценностей.Чтобы лучше понять это естественное поведение и интерпретировать его нейронные механизмы, было бы полезно оценить внутреннюю модель и функцию вознаграждения, которая объясняет поведенческие стратегии животных. В этой статье мы моделируем животных как рациональных агентов, действующих оптимально для максимизации собственного субъективного вознаграждения, но в рамках семьи, возможно, неверных представлений о мире. Затем мы инвертируем эту модель, чтобы сделать вывод о внутренних предположениях и вознаграждениях агента и оценить динамику внутренних убеждений.Мы называем этот подход обратным рациональным контролем (IRC), потому что мы делаем вывод о причинах, объясняющих неоптимальное поведение агента при управлении его средой.

Этот метод создает вероятностную модель для траектории наблюдений и действий агента и выбирает параметры модели, которые максимизируют вероятность этой траектории. Мы делаем предположения о внутренней модели агента, а именно о том, что он считает, что получает ненадежные сенсорные наблюдения о мире, который развивается в соответствии с известной стохастической динамикой.Мы предполагаем, что действия агента выбираются так, чтобы максимизировать его собственную субъективно ожидаемую долгосрочную полезность. Эта полезность включает в себя как выгоды, такие как пищевые награды, так и затраты, такие как энергия, потребляемая действиями; он также должен учитывать внутренние состояния, описывающие мотивацию, такие как голод или усталость, которые модулируют субъективную полезность. Наконец, мы предполагаем, что агент следует стационарной политике, основанной на его ментальной модели. Это означает, что мы не можем моделировать обучение с помощью нашего метода, хотя мы можем изучать адаптацию и контекстную зависимость, если наша модель представляет эти переменные и их динамику.Мы используем последовательность наблюдений и действий агента, чтобы узнать параметры этой внутренней модели мира. Без модели вывод как вознаграждений, так и скрытой динамики — недоопределенная проблема, ведущая ко многим вырожденным решениям. Однако при разумных ограничениях модели мы демонстрируем, что функции вознаграждения агента и предполагаемая динамика могут быть идентифицированы. Наши изученные параметры включают предполагаемую агентом стохастическую динамику мировых переменных, надежность сенсорных наблюдений за этими состояниями мира и субъективные веса зависимых от действий затрат и зависимых от состояния вознаграждений.

Частично наблюдаемый марковский процесс принятия решений.

Чтобы определить обратную задачу рационального управления, мы сначала формализуем задачу агента как частично наблюдаемый марковский процесс принятия решений (POMDP) ​​(рис. 1 A ) (8), мощную основу для моделирования поведения агента в условиях неопределенности. Цепь Маркова — это временная последовательность состояний s∈S, для которой вероятность перехода T в следующее состояние зависит только от текущего состояния, а не от любого более раннего: T (st + 1 | s0: t) = T (st + 1 | ул).Марковский процесс принятия решений (MDP) — это цепь Маркова, в которой агент может влиять на переходы состояний мира, решая предпринять действие a∈A, изменяя переходы на T (st + 1 | st, at). На каждом временном шаге агент получает вознаграждение или несет затраты (отрицательное вознаграждение), которые зависят от состояния мира и действия R (st, at). Агент стремится выбрать действия, которые максимизируют его ценность V, измеряемую общим ожидаемым будущим вознаграждением (отрицательные затраты) с временным дисконтным фактором γ∈ (0,1), так что V = ∑t = 1∞γtR (st, at) p (s1: ∞, a1: ∞), где угловые скобки обозначают среднее значение по индексовому распределению.Действия выводятся из зависящего от состояния распределения вероятностей, называемого политикой, π (a | st), которое может быть полностью сконцентрировано на одном действии. В обычном MDP агент может полностью наблюдать за текущим состоянием мира, но должен планировать неизвестное будущее. В POMDP агент снова не знает будущего, но даже не знает точно текущее состояние мира. Вместо этого агент получает только ненадежные наблюдения o∈Ω по этому поводу, полученные из распределения ot∼O (o | st). Цель агента по-прежнему состоит в том, чтобы максимизировать общее ожидаемое будущее вознаграждение с дисконтированием по времени.POMDP — это набор всех этих математических объектов: (S, A, Ω, R, T, O, γ). Разные кортежи отражают разные задачи.

( A и B ) Графическая модель POMDP ( A ) и задачи IRC ( B ). Открытые кружки обозначают скрытые переменные, а сплошные кружки обозначают наблюдаемые переменные. Для POMDP агент знает свои убеждения, но должен сделать вывод о состоянии мира. Что касается IRC, ученый знает состояние мира, но должен делать выводы о своих убеждениях. Динамика реального мира зависит от параметров ϕ, в ​​то время как динамика убеждений и действия агента зависят от параметров θ, которые включают как его предположения о стохастической мировой динамике и наблюдениях, так и его собственные субъективные вознаграждения и издержки.

Оптимальное решение POMDP требует, чтобы агент вычислял зависящую от времени апостериорную вероятность для мирового состояния s, учитывая его историю наблюдений и действий. Знание всей этой истории можно кратко обобщить в одном распределении, апостериорном B (s). Мы считаем, что это отражает мнение агента о его текущем мировом состоянии. Полезно определить более компактное состояние убеждений b как набор достаточных статистических данных, которые полностью суммируют апостериорную оценку, поэтому мы можем записать B (st | bt) = B (st | o1: t, a0: t − 1).Это состояние доверия может быть выражено рекурсивно с использованием свойства Маркова как функции его предыдущего значения ( SI Приложение , уравнение 1 ).

Мы можем выразить всю частично наблюдаемую MDP как полностью наблюдаемую MDP, называемую MDP убеждений, где релевантным полностью наблюдаемым состоянием является не мировое состояние s, а собственное состояние веры агента b (9). Для этого мы должны заново выразить переходы и награды как функцию этих состояний убеждений ( SI Приложение , Eqs. 5 и 7 ). Затем оптимальный агент определяет функцию ценности Q (b, a) по этому пространству убеждений и разрешенные действия, основываясь на своих собственных субъективных вознаграждениях и затратах. Это значение может быть вычислено рекурсивно с помощью уравнения Беллмана (10) ( SI Приложение , уравнение 8 ). Оптимальная политика детерминированно выбирает действия, максимизирующие функцию ценности состояния-действия. Альтернативная стохастическая политика выбирает действия из функции softmax по значению π (a | b) ∼1ZexpQ (b, a) / τ с температурным параметром τ и нормировочной константой Z, что дает агенту некоторую возможность выбрать субоптимальное действие.В пределе низкой температуры τ мы восстанавливаем оптимальную политику, но реальный агент может быть лучше описан стохастической политикой с некоторым контролируемым исследованием. Точно так же мы можем ввести стохастичность поверх динамики убеждений, продиктованных правилом Байеса, допуская ошибки, постепенное забывание или ограниченную рациональность.

Обратное рациональное управление.

Несмотря на привлекательность оптимальности, животные редко оказываются оптимальными в экспериментальных задачах, и не только из-за большей случайности.Какие принципиальные указания относительно действий животного, если не считать оптимальности, помогли бы нам понять его мозг? Одна из возможностей состоит в том, что животное рационально, то есть оптимально для условий, отличных от тех, которые проходят испытания. Здесь мы показываем, как анализировать поведение, предполагая, что агенты рациональны в этом смысле. Основная идея состоит в том, чтобы параметризовать возможные стратегии агента теми задачами, для которых каждая из них оптимальна, и найти, какая из них лучше всего объясняет поведенческие данные.

Мы определяем семейство POMDP, в котором каждый участник имеет свою собственную динамику задач, вероятности наблюдения и субъективные награды, вместе составляющие вектор параметров θ.Эти различные задачи дают соответствующее семейство оптимальных агентов, а не один оптимизированный агент. Затем мы определяем логарифмическую вероятность для задач в этом семействе с учетом экспериментально наблюдаемых данных и маргинализации по латентным убеждениям агента (рис.1 B ): L (θ) = log∫db1: T p (b1: T , o1: T, a1: T, s1: T | θ, ϕ). [1] Другими словами, мы находим вероятность того, какие задачи агент решает оптимально. В [ 1 ] , ϕ и s1: T — известные величины в экспериментальной установке, которые определяют мировую динамику.Поскольку они влияют только на другие наблюдаемые величины в графической модели, они не влияют на вероятность модели по θ ( SI Приложение ).

Эта математическая структура связывает интерпретируемые модели напрямую с экспериментально наблюдаемыми данными, что позволяет формализовать важные научные проблемы поведенческой нейробиологии. Например, мы можем максимизировать вероятность найти наилучшее интерпретируемое объяснение поведения животного как рационального в рамках модельного класса, как мы покажем ниже.Мы также можем сравнить категориально разные классы моделей, которые приписывают агенту разные структуры вознаграждения или предположения о задаче.

Логарифм правдоподобия 1 кажется сложным, поскольку он зависит от всей последовательности наблюдений и действий и требует маргинализации по сравнению со скрытыми убеждениями. Тем не менее, его можно вычислить, используя марковское свойство POMDP: действия и наблюдения составляют цепь Маркова, в которой состояние убеждений агента является скрытой переменной.Мы показываем, что эту структуру можно использовать для эффективного вычисления вероятности ( SI Приложение ).

Проблемы и решения для рационализации поведения.

Чтобы решить проблему IRC, нам нужно параметризовать задачу, убеждения и политики, а затем нам нужно оптимизировать параметризованную логарифмическую вероятность, чтобы найти лучшее объяснение данных. Это ставит практические задачи, которые нам необходимо решить.

Наша основная идея для интерпретации поведения — параметризовать все в терминах задач.Все остальные элементы наших моделей в конечном итоге возвращаются к этим задачам. Следовательно, убеждения и переходы — это распределения по скрытым переменным задачи, политика выражается как функция параметров задачи и предпочтений, а логарифм правдоподобия является функцией параметров задачи, которые, как мы предполагаем, принимает агент.

Таким образом, какие бы представления мы ни использовали для пространства убеждений или политики, мы должны иметь возможность распространять нашу оптимизацию по параметрам задачи через эти представления.Это одно из требований к практическим решениям IRC. Второе требование — мы действительно можем вычислить оптимальные политики.

Эффективное представление общих убеждений и переходов затруднено, поскольку пространство вероятностей намного больше, чем пространство состояний, которое оно измеряет. Состояние убеждений представляет собой распределение вероятностей и, таким образом, принимает непрерывные значения даже для дискретных состояний мира. Для непрерывных переменных пространство вероятностей потенциально бесконечномерно. Это представляет собой серьезную проблему как для машинного обучения, так и для мозга, и поиск нейронно-правдоподобных представлений о неопределенности является активной темой исследований (11–16).Мы рассматриваем два простых метода решения IRC с использованием сжатия убеждений с потерями: дискретизация или аппроксимация распределения. Затем мы приводим конкретный пример приложения в дискретном случае.

Отдельные убеждения и действия.

Если у нас есть дискретное пространство состояний, мы можем использовать обычные стратегии решения для MDP. Для достаточно небольшого мирового пространства мы можем полностью дискретизировать пространство убеждений, а затем решить проблему MDP убеждений с помощью стандартных алгоритмов MDP (10, 17).В частности, функция ценности состояния-действия Q (b, a) при политике softmax π (a | b) может быть выражена рекурсивно с помощью уравнения Беллмана, которое мы решаем с помощью итерации значений (9, 10). Затем функция результирующего значения определяет политику softmax π и, таким образом, определяет член, зависящий от политики, в логарифмической вероятности 1 . Чтобы решить проблему IRC, мы можем напрямую оптимизировать эту логарифмическую вероятность, например, с помощью жадного строкового поиска ( SI Приложение ). Альтернативой в задачах более высокой размерности является использование максимизации математического ожидания для нахождения локального оптимума с шагом M подъема градиента (18, 19), который мы вычисляем точно ( SI Приложение ).

Постоянные убеждения и действия.

Вычислительные затраты на дискретное решение быстро растут с увеличением размера проблемы и становятся непреодолимыми для непрерывных пространств состояний и непрерывного управления. Один из практических вариантов — постоянно обновлять конечный набор сводной статистики, как для расширенного фильтра Калмана. В качестве альтернативы можно легко изучить и использовать более общий набор статистических данных (16). Рациональный контроль с непрерывными действиями также требует от нас реализации гибкого семейства непрерывных политик π, которые отображают убеждения и действия.Мы используем глубокие нейронные сети для реализации этих политик (20). Методы глубокого обучения обычно используются в обучении с подкреплением для обеспечения гибкости, но им не хватает интерпретируемости: информация о политике распределяется по весам и смещениям сети. Важно отметить, что для обеспечения интерпретируемости мы параметризуем это семейство по задаче. В частности, мы предоставляем параметры модели θ в качестве дополнительных входных данных для сети политик at = π (bt, θ; W) и обучаем ее веса W для аппроксимации семейства оптимальных политик одновременно по априорному распределению параметров задачи p (θ ) (20).Это позволяет сети обобщать свои оптимальные стратегии для POMDP в семействе задач и позволяет нам легко максимизировать вероятность (уравнение 1 ) за счет градиентного подъема с использованием автодифференциации (20).

Мы применили наш анализ, чтобы понять, как работает нейронная сеть, выполняющая задачу по поиску пищи. Задача требует, чтобы агент сочетал ненадежные сенсорные данные с внутренней памятью, чтобы сделать вывод, когда и где доступны награды и как их лучше всего получить.Мы обучаем искусственную рекуррентную нейронную сеть решать эту задачу неоптимальным, но рациональным способом и используем IRC для вывода ее предположений, субъективных предпочтений и убеждений.

Описание задачи.

В двух местах («ящиках для кормления») есть скрытые пищевые награды, которые появляются и исчезают в соответствии с независимыми телеграфными процессами с заданными вероятностями перехода (рис. 2) (21). Ящики предоставляют ненадежные цветовые подсказки о текущей доступности награды, начиная от синего (вероятно, недоступного) до красного (возможно, доступного).Для агента есть три возможных местоположения: ящики 1 и 2 и среднее местоположение 0. Мы включаем небольшую награду за «уход» за то, чтобы оставаться в среднем месте, чтобы агент мог остановиться и отдохнуть. Агенту доступны несколько дискретных действий: он может нажать кнопку, чтобы открыть ящик, чтобы либо получить награду, либо наблюдать ее отсутствие, он может двигаться в новое место или ничего не может. Путешествие и нажатие кнопки, чтобы открыть ящик, имеют свою стоимость, поэтому агент не получает выгоды от повторения бесплодных действий.Когда происходит нажатие кнопки, чтобы открыть ящик, вы получаете любую доступную в нем награду. После этого животное знает, что в коробке больше нет еды (так как она была либо недоступна, либо израсходована), и его уверенность в доступности еды в этой коробке сбрасывается до нуля. Конкретные значения этих параметров, использованные в наших экспериментах, описаны в приложении SI .

Иллюстрация задачи поиска пищи со скрытой динамикой и частично наблюдаемыми сенсорными данными. Доступность награды в каждом из двух ящиков изменяется в соответствии с телеграфным процессом, переключаясь между доступным (красный) и недоступным (синий), а цвета дают животному неоднозначный сенсорный сигнал о наличии награды.Агент может перемещаться между двумя ящиками. Когда нажимается кнопка, чтобы открыть ящик, агент получает любую доступную награду.

Агент нейронной сети.

Чтобы протестировать алгоритм IRC и наш последующий анализ нейронного кодирования, нам нужен был синтетический мозг, для которого мы могли бы оценить основную истину. Поэтому мы использовали имитационное обучение, чтобы обучить повторяющуюся нейронную сеть воспроизвести политику одного рационального агента. Однако, чтобы отдать предпочтение представлениям, которые хорошо обобщаются и, следовательно, с большей вероятностью представляют убеждения, мы фактически обучили сеть воспроизводить оптимальные политики для семейства задач.Входы в эту сеть включали не только сенсорные наблюдения за местоположением, цветовыми подсказками и наградами, но и параметры задачи ( SI Приложение , рис. S1 A ). Для каждой задачи мы обучили сетевой вывод соответствовать политике соответствующего «учителя», который оптимально решает эту проблему POMDP ( Материалы и методы, ). После обучения выходные данные нейронной сети точно соответствовали политике учителей ( SI Приложение , рис. S1 B ).Любые относящиеся к задаче убеждения, которые возникают автоматически в процессе обучения (22), неявно кодируются только в большой популяции нейронов.

Наконец, чтобы навязать неоптимальность нашему агенту нейронной сети, мы ввели его в заблуждение, предоставив входные данные, в которых указан неправильный набор параметров задачи θ: они не соответствовали параметрам ϕ истинной тестовой задачи. Когда мы бросили вызов этому смоделированному рациональному мозгу заданием по поиску пищи, мы получили временные ряды наблюдений ot, действий at и нейронной активности rt.Вместе они составляли экспериментальные измерения для нашего неоптимального агента.

Обратный рациональный контроль кормодобывания.

В наших целевых приложениях мы не знаем предполагаемых мировых параметров агента, их субъективных затрат или степени случайности (температуры политики softmax). Наша цель — оценить внутреннюю модель моделируемого агента и динамику убеждений по выбранным им действиям в ответ на его сенсорные наблюдения. Все это мы делаем с помощью IRC.

Действия и сенсорные свидетельства (цветовые подсказки, местоположения и награды), полученные агентом, представляют собой наблюдения для изучения экспериментатором внутренней модели агента.На основе 5000 наблюдений за цветом, 1595 движений и 566 нажатий кнопок IRC определяет параметры внутренней модели, которые лучше всего объясняют поведенческие данные (рис. 3 A ). Рис. 3 B показывает, что IRC правильно вменяет рациональную модель нейронной сети, параметры которой точно соответствуют параметрам ее учителя.

Успешное восстановление модели агента обратным рациональным управлением. Агент представлял собой нейронную сеть, обученную имитировать неоптимального, но рационального учителя и протестированную на новой задаче.( A ) Расчетные параметры сходятся к оптимальной точке наблюдаемого логарифмического правдоподобия данных (белая звезда). Поскольку пространство параметров является многомерным, мы проецируем его на первые две главные компоненты u, v траектории обучения для θ (синий). Расчетные параметры незначительно отличаются от параметров учителя (зеленая точка) из-за ограничений данных. ( B ) Сравнение параметров учителя и расчетных параметров. Планки погрешностей показывают 95% доверительные интервалы (ДИ), основанные на гессиане логарифма правдоподобия ( SI Приложение , рис.t | a1: T, o1: T) | bt⟩. Эти средние последующие люди концентрируются на истинных убеждениях учителя. ( E – H ) Предполагаемое распределение ( E ) действий, ( F ) время пребывания, ( G ) интервалы между последовательными нажатиями кнопок и ( H ) интервалы между движениями.

Ограничения данных подразумевают некоторое несоответствие между истинными параметрами учителя и оценочными параметрами, которые могут быть уменьшены с большим количеством данных. С помощью оцененных параметров мы можем сделать апостериорный вывод над динамическими убеждениями (рис.3 С ). (Обратите внимание, что это апостериорная оценка экспериментатора по сравнению с субъективной апостериорной оценкой агента!) Хотя мы не знаем, во что верит нейронная сеть, предполагаемая апостериорная оценка согласуется с субъективными вероятностями имитируемого учителя наличия еды в каждой коробке. Предполагаемые распределения по убеждениям показывают сильную корреляцию между состояниями убеждений учителя и состояниями убеждений, приписанными нейронной сети (рис. 3 D ).

Рис. 3 E — H показывает, что учитель, искусственный мозг и предполагаемый агент выбирают действия с одинаковой частотой, занимают три места в течение одной и той же доли времени и ждут одинаковое количество времени между нажатиями. кнопки или путешествия.Это демонстрирует, что агент, производный от IRC, генерирует поведение, которое согласуется с поведением агента, от которого он узнал.

Результаты II: Нейронное кодирование

Мы не предполагаем, что какой-либо реальный мозг явно вычисляет решение уравнения Беллмана, а скорее изучает политику, комбинируя опыт и мысленное моделирование. t, ot) и функцию перекодирования f̌rec (b̌t, ot).и ̌ соответственно ( SI Приложение , Таблица S1).

Чтобы перейти к более интерпретируемым вычислениям, наш анализ фокусируется не на нейронных реакциях, а скорее на релевантной задаче информации, закодированной в этих ответах. Целевое уменьшение размерности абстрагирует мелкие детали нейронных сигналов в пользу описания на алгоритмическом или репрезентативном уровне. Это уменьшает количество параметров, характеризующих динамику, существенно сокращая переобучение. Что еще более важно, он может избежать массивного вырождения, присущего механизмам на уровне нейронов: разные нейронные сети могут иметь совершенно разную нейронную динамику, но могут совместно использовать вычисления, относящиеся к задаче.Это указывает на то, что более глубокое, более инвариантное понимание нейронных вычислений более возможно на алгоритмическом уровне, чем на механистическом уровне (23).

Анализ связанных процессов кодирования, перекодирования и декодирования может помочь интерпретировать релевантные для задачи вычисления. Эти процессы соответствуют представлению, динамике и действию. «Кодирование» мозга определяет релевантные и нерелевантные координаты нейронной активности (рис. 4 B ). «Перекодирование» описывает, как кодирование трансформируется во времени и пространстве с помощью нейронной обработки (рис.4 С ). «Декодирование» описывает, как эти оценки предсказывают будущие действия (рис. 4 D ). ^†

Структура нейронного кодирования делает одно важное предположение: нейронных данных должно быть достаточно для захвата релевантных для задачи нейронных процессов. Важные аспекты различны для кодирования, перекодирования и декодирования. Чтобы описать кодирование, нам нужно измерить правильные нейроны с правильным разрешением, чтобы они были чувствительны к свойствам, относящимся к задаче, которые могут включать нелинейную статистику (24, 25) и, безусловно, будут демонстрировать некоторую изменчивость (26).Чтобы точно описать перекодировку, все измеренные изменения нейронного состояния должны зависеть только от текущего состояния. Другими словами, измеряемая нейронная динамика должна быть марковской. Марковская динамика — существенное свойство любой причинной системы. Чтобы точно описать декодирование, мы должны измерить нейронные сигналы, которые в конечном итоге определяют поведение. Если в выбранном пространстве состояний отсутствует какая-либо соответствующая информация из-за отсутствия нейронов, медленных измерений, постобработки с потерями и т. Д., То мы увидим необъяснимую изменчивость в закодированных переменных, динамике перекодирования и декодированных действиях.

Пока мы измеряем правильные сигналы, наша структура нейронного кодирования одинаково хорошо применима к пикам, многочастичной активности, концентрации кальция, концентрации нейротрансмиттеров, локальным полевым потенциалам, обычным частотным полосам или любым другим сигналам, которые предположительно содержат важную информацию. . Например, если отдельные нейронные частотные полосы кодируют различную информацию или взаимодействия, то одной лишь медленной скорости возбуждения будет недостаточно для захвата динамики. Тем не менее, в таких случаях мы можем создать достаточное пространство состояний путем увеличения нейронных состояний, например, путем явного включения нескольких частотных диапазонов или недавней истории частоты срабатывания.

Как только мы подбираем нейронную кодировку, мы впоследствии концентрируемся только на релевантных для задачи координатах, определенных этой кодировкой. По своей конструкции этот уровень объяснения не должен охватывать все аспекты нейронных реакций или физический механизм, с помощью которого они развиваются. Тем не менее, было бы большим прогрессом, если бы мы могли учесть нейронную динамику, зависящую от стимулов и действий, в рамках релевантных для задачи координат (27), которые объясняют, как временные последовательности сенсорных сигналов взаимодействуют в мозге и предсказывают поведение.Хотя это «как будто» описание не может законно претендовать на причинность, его можно превратить в причинное описание, поскольку оно дает полезные прогнозы для причинных тестов о том, какие нейронные особенности должны влиять на вычисления и действия (28, 29).

Подобно тому, как для полного описания нейронных механизмов требуется, чтобы эта динамика была марковской, полное описание в более низкой размерности релевантных для задачи вычислений также требует, чтобы динамика была марковской. Другими словами, мы ищем релевантные для задачи координаты, обновление которых зависит только от этих координат.В противном случае мы снова обнаружим необъяснимую изменчивость в динамике, релевантной задаче ( SI Приложение , рис. S3) или действиях.

На рис. 5 представлена ​​концептуальная иллюстрация геометрии релевантных и нерелевантных координат в пространстве нейронной активности и типов ошибок, которые могут возникнуть при измерении релевантных для задачи нейронных вычислений. Нейронная активность занимает множество гораздо более низких измерений, чем окружающее пространство всех возможных нейронных реакций (30). Внутри этого многообразия есть дополнительная структура с релевантными для задачи переменными, отслеживающими подмногообразия, связанные друг с другом несущественными для задачи нейронными вариациями.

Концептуальная иллюстрация кодирования и перекодирования. ( A ) Нейронные ответы r населяют многообразие (синий объем, здесь трехмерный), встроенное в многомерное пространство всех возможных нервных ответов. Модель нейронного кодирования делит это многообразие на релевантные для задачи и нерелевантные координаты (синие и фиолетовые оси). Мы должны оценить эти координаты на основе данных обучения, учитывая некоторые предполагаемые цели, относящиеся к задаче. B. Согласно этой кодировке, многие шаблоны активности r могут соответствовать одному и тому же вектору переменных задачи b.Любая конкретная нейронная траектория (белая кривая) — лишь одна из многих, которые могут проследить ту же самую актуальную для задачи проекцию b (t) (черные кривые). Таким образом, набор всех нейронных активностей, соответствующих одной релевантной для задачи траектории, охватывает множество (серая лента). ( B ) После подбора оценщика переменных задачи с использованием обучающих данных мы можем измерить, насколько хорошо кодировка описывает переменные задачи в новом наборе данных тестирования., выведенных из поведения ( чернить).( C ) Ошибка тестирования этих переменных задачи, полученных нейронным путем (красный, зеленый), будет больше, чем ошибка обучения (синий). Релевантные для задачи переменные b̌, полученные из разных моделей кодирования, могут иметь одинаковые общие ошибки, но, тем не менее, могут иметь разную динамику перекодирования. Здесь более гладкая зеленая динамика ближе к динамике, предполагаемой поведением, чем более грубая красная динамика, что означает, что эти релевантные для задачи измерения лучше охватывают вычисления, подразумеваемые обратным рациональным контролем. SI Приложение , рис. S3 предоставляет более подробную информацию о хороших и плохих перекодировках.

В принципе, эта структура может применяться для множества различных задач и вычислений. Для конкретности здесь мы представляем наш анализ с использованием вычислений и переменных, полученных с помощью обратного рационального управления. Выведенная внутренняя модель позволяет нам приписать зависящие от времени убеждения b агента о частично наблюдаемом мировом состоянии s. Такой вектор убеждений может включать в себя полное апостериорное состояние мира, B (st | o1: t, a1: t − 1), как мы использовали для дискретного IRC выше, или точечную оценку ŝ состояния мира и меру неопределенность по этому поводу, скажем, ковариация Σs, как в гауссовском приближении, которое мы использовали для непрерывного IRC (20).и игнорируя нерелевантные для задачи аспекты нейронных ответов, мы можем затем проверить его на новых оценках b̌ из свежих нейронных данных. Поскольку данные конечны и зашумлены, модели неизменно имеют некоторые ошибки, вызванные отклонениями между оцененными координатами, относящимися к задаче, и истинными. Эти ошибки меньше для обучающих данных и больше для свежих данных тестирования. Подборки из разных моделей кодирования по-разному разделяют нейронное многообразие и, следовательно, обычно имеют разные ошибки тестирования (рис.5 В ).

Перекодирование.

Recoding описывает изменения в нейронном кодировании. Хотя нейронная динамика может влиять на все измерения нейронной активности, мы сосредотачиваемся только на низкоразмерной, интерпретируемой динамике внутри нейронного многообразия. По своей конструкции эта динамика отражает изменения во взглядах агента.

Модель рационального контроля предсказывает, что убеждения обновляются сенсорными наблюдениями и прошлыми убеждениями, причем взаимодействия определяются внутренней моделью в соответствии с функцией bt + 1 = fdyn (bt, ot) + ηt, где fdyn и ηt отражают релевантные для задачи и нерелевантные части динамики (последняя поглощает стохастические компоненты, а также детерминированные компоненты, которые зависят от неконтролируемых измерений, не относящихся к задаче; рис.5 и SI Приложение , рис. S3). Если наш нейронный анализ правильно определяет динамику, отвечающую за поведение, тогда убеждения b̌, оцененные на основе нейронного кодирования, должны быть перекодированы с течением времени, следуя тем же правилам обновления. Мы оцениваем эту функцию нейронного перекодирования f̌rec (b̌t, ot) непосредственно из последовательности нейронно оцененных убеждений b̌, минимизируя различия между фактическими и предсказанными будущими нейронными убеждениями. dyn (рис.4 С ). (Обратите внимание, что мы должны сравнивать их только по распределению опытных убеждений, т. Е. Тех убеждений, для которых функция перекодирования имеет значение на практике.) Согласие между динамикой поведенческих убеждений и динамикой убеждений, полученной из нейронных сетей, означает, что мы успешно поняли процесс перекодирования. . Даже для хороших моделей кодирования это не гарантируется, поскольку активность за пределами координат кодирования может повлиять на нейронную динамику: две разные подогнанные модели кодирования могут обеспечить одинаковые ошибки реконструкции, и все же из-за ограниченных данных или несоответствия моделей только одна имеет нейронную динамику, которая соответствует поведенческая динамика (рис.против нейронной активности r, мы можем оценить другие убеждения b̌ на основе ранее невидимых нейронных данных. Рис. 6 A показывает, что эти убеждения, оцененные на основе нейронных данных, точны.

Рис. 6 B показывает, что динамика перекодирования, полученная из динамики нейронных убеждений, также соответствует динамике, описываемой рациональной моделью. t.Хотя некоторые из этих изменений напрямую связаны с сенсорными наблюдениями (цветами), это объясняет только часть обновлений убеждений: даже при условии одновременного получения заданного сенсорного ввода, обновления согласовываются между нейронами и поведенческой моделью. Это свидетельствует о том, что мы понимаем внутреннюю модель, которая управляет перекодированием на алгоритмическом уровне.

Чтобы учесть пространство дискретных действий, в нашем примере анализа нейронного декодирования используется нелинейная полиномиальная регрессия для подгонки вероятностей π̌dec (a | b̌) разрешенных действий в зависимости от убеждений, полученных нейронным путем ( Материалы и методы ).хорошо совпадают (рис. 6 C ), что свидетельствует о том, что мы понимаем процесс декодирования, с помощью которого релевантная для задачи нейронная активность генерирует поведение.

Обсуждение

В этой статье представлена ​​объяснимая парадигма ИИ для вывода внутренней модели, скрытых убеждений и субъективных предпочтений рационального агента, который решает сложную динамическую задачу, описываемую как частично наблюдаемый марковский процесс принятия решений. Мы приспособили модель, максимизируя вероятность сенсорных наблюдений и действий агента над целым семейством задач.Затем мы описали структуру нейронного кодирования для проверки того, перекодируются и декодируются ли вмененные скрытые убеждения, закодированные в низкоразмерном многообразии нейронных ответов, в соответствии с этой поведенческой моделью. Мы продемонстрировали эти два вклада, проанализировав нейронное кодирование неявной вычислительной модели с помощью искусственной нейронной сети, обученной решать простую задачу поиска пищи, требующую памяти, интеграции доказательств и планирования. Наш метод успешно восстановил внутреннюю модель агента и его субъективные предпочтения, а также обнаружил нейронные вычисления, соответствующие этой рациональной модели.

Связанные работы.

Наш подход обобщает предыдущие работы в области искусственного интеллекта по обратной задаче обучения агентов путем наблюдения за поведением. Методологически другие исследования обратных задач обращаются к частям обратного рационального управления, как правило, с целью заставить искусственных агентов решать задачи путем обучения на демонстрациях поведения экспертов. Обратное обучение с подкреплением (IRL) решает проблему изучения того, как агент оценивает вознаграждения и затраты на основе наблюдаемых действий (31), но предполагает известную динамическую модель (19, 32).Этот подход даже применялся для изучения вычислительной цели рекуррентной сети (33). И наоборот, обратное оптимальное управление (IOC) изучает внутреннюю модель агента для мировой динамики (34) и наблюдений (35), но принимает на себя функции вознаграждения. В исх. 36 и 37 были изучены как функция вознаграждения, так и динамика, но исследуется только полностью наблюдаемый случай MDP. Мы решаем естественную, но более сложную обстановку с частичным наблюдением и обеспечиваем научную основу для интерпретации поведения животных.

В качестве когнитивной теории, постулируя рационального, но, возможно, ошибочного агента, наш подход напоминает байесовскую теорию разума (BToM) (38–43). Предыдущая работа в BToM рассматривала задачи с неопределенностью в отношении статических скрытых переменных, которые были неизвестны до полного наблюдения (43), или задачи с частично наблюдаемыми переменными, но с более простой структурой, основанной на испытаниях (38, 39). Здесь мы допускаем более естественный мир с динамическими скрытыми переменными и частичной наблюдаемостью, и мы выводим модели, в которых агенты строят долгосрочные планы и выбирают последовательность действий.Там, где предыдущая работа в BToM изучила субъективные вознаграждения (43) или внутренние модели (41), наш обратный рациональный контроль предполагает как внутренние модели, так и субъективные предпочтения в частично наблюдаемом мире.

Исследования BToM были сосредоточены на моделях поведения, в то время как мы стремимся связать вычисления динамических моделей с динамикой мозга. В некоторых работах была предложена модель поведения POMDP и выдвинута гипотеза о том, как определенные области мозга могут выполнять соответствующие вычисления (44). Здесь мы демонстрируем структуру анализа для проверки таких связей, исследуя нейронные представления скрытых переменных и показывая, как вычислительные функции могут быть воплощены в нейронной динамике низкой размерности.

В то время как низкоразмерная нейронная динамика является важной темой для изучения крупномасштабной нейронной активности (1, 5, 6, 30), немногие смогли связать эти динамические паттерны активности с интерпретируемыми скрытыми переменными модели. Гораздо чаще эти низкоразмерные многообразия приписываются внутренне сгенерированному многообразию (27, 45) или связаны с измеримыми величинами, такими как сенсорные входы или поведенческие выходы (1, 46, 47). Известно, что популяционная активность в зрительной системе связана со скрытыми представлениями о глубоких сетях (2, 3).Хотя это показывает, что многие релевантные для задачи функции, извлеченные с помощью решений машинного обучения, также актуальны для задачи визуальной системы, эти особенности не учитывают ни временную динамику, ни неопределенность, а также их трудно интерпретировать (48). Наш модельный анализ активности населения в настоящее время является нашим лучшим выбором для поиска интерпретируемых вычислительных принципов.

Ограничения и обобщения.

Мы продемонстрировали наш подход к пониманию познания и нейронных вычислений, применив его к задаче, включающей несколько важных функций, а именно частично наблюдаемые скрытые переменные со структурированной динамикой, требующей нелинейных вычислений.Тем не менее, эта задача по поиску пищи по-прежнему довольно проста. Наша концептуальная основа гораздо более общая и должна иметь возможность масштабирования для решения более сложных задач. Как мы показали, он может моделировать распространенные ошибки когнитивных систем, такие как вывод ложных убеждений, основанных на неправильном или неполном знании параметров задачи. Но его также можно использовать для вывода неправильной структуры в рамках данного класса модели. Например, для животных естественно предположить, что некоторые аспекты мира, такие как ставки вознаграждения в разных местах, не являются фиксированными, даже если эксперимент фактически использует фиксированные ставки (49).Точно так же у агента может быть суеверие, что разные источники вознаграждения взаимосвязаны, даже если в действительности они независимы. Учитывая класс модели, который включает такие противоречивые отношения между переменными задачи, наш метод может проверить, придерживается ли агент этих неверных предположений. Наша структура также может быть обобщена на случаи ограниченной рациональности (50) путем включения дополнительных внутренних репрезентативных или вычислительных ограничений, таких как метаболические затраты (51) или архитектурные ограничения (52).Однако наш подход действительно использует обучение с подкреплением на основе моделей и, следовательно, требует модели. Как и любой алгоритм, основанный на модели, он может объяснить только поведение, которое мы можем представить состояниями и политиками, которые модель может генерировать. Более того, даже если модель может выражать некоторые политики в принципе, она должна иметь возможность изучить это семейство политик на практике. Это может создать проблемы, которые современные методы обучения с подкреплением быстро преодолевают.

Когда данных недостаточно для различения возможных рациональных моделей, мы можем восстановить неаккуратную модель (53, 54), для которой несколько комбинаций параметров имеют почти одинаковую вероятность (уравнение. 1 ). Кривизна логарифмической вероятности наблюдаемых данных ( SI Приложение , рис. S2) показывает, что наши модели были достаточно ограничены, чтобы все параметры можно было идентифицировать, хотя некоторые комбинации вырабатывали более оптимистичные убеждения, компенсированные более высокими затратами на действия для генерации аналогичных последовательностей действий.

Наше основное предположение для поведенческой модели состоит в том, что животные предполагают, что мир является марковским, что побуждает их использовать стационарные политики. Что, если они этого не сделают из-за меняющейся задачи или мотивации? Включая дополнительные скрытые состояния, такие как медленные переменные контекста или состояние внутренней мотивации, мы можем восстановить стационарную политику, и тогда наш подход снова станет применимым.Тем не менее, это будет плохая модель, пока животное чему-то учится впервые, и потребуется более высокоуровневая модель рационального обучения.

Наш подход к созданию интерпретируемых рациональных моделей требует, чтобы политика получала входные данные, которые сами по себе интерпретируемы и рациональны, независимо от того, реализована ли политика как явное решение POMDP или как нейронная сеть, обученная оптимальности для семейства задач. Здесь нашими входными данными были состояния убеждений, которые полностью резюмируют апостериорное текущее состояние мира.Поддерживая интерпретируемость, мы также могли бы сознательно допустить худшие вероятностные представления, пока мы выбираем класс модели, который определяет их структуру. Например, мы могли бы разрешить гипотезы факторизованных апостериорных значений, поддающихся обработке вариационных семейств (39, 55), случайной статистики (16, 56, 57) или ограниченной выборки (12, 58, 59). Кроме того, мы могли выдвинуть гипотезу приближенных алгоритмов вывода, связанных с этими представлениями убеждений (60, 61). Среди этих гипотез IRC можно использовать для поиска и сравнения вероятностей наблюдаемых траекторий действий при наличии рациональных агентов с этими структурированными предположениями.

В более сложных задачах упрощающие предположения, вероятно, будут столь же важны для мозга, как и для любого алгоритма: по мере роста числа релевантных для задачи переменных размерность всего пространства убеждений непомерно возрастает. В дополнение к структурированным приближениям, упомянутым выше, обучение представлению (62) может предоставлять сжатые представления сенсорных историй, которые полезны для выполнения задач. В хороших случаях он может научиться представлять достаточную статистику по странам мира, которая необходима для руководства действиями и получения вознаграждения.В настоящее время крупномасштабные задачи решаются с помощью выразительных нейронных сетей (63, 64), которые обеспечивают богатое представление состояния, но могут не допускать интерпретации. Это может быть неизбежным ограничением в мире сложной структуры (65, 66). Или рядом с любым решением, найденным с помощью оптимизации машинного обучения, могут быть другие решения, которые работают аналогично, сохраняя при этом интерпретируемость (67). Кроме того, решения, которые соответствуют причинной структуре окружающей среды, естественно, более интерпретируемы и имеют тенденцию лучше обобщаться (68, 69) и, таким образом, могут быть одобрены биологическим обучением.Может случиться так, что неинтерпретируемые представления, полученные с помощью машинного обучения без грубой силы, недостаточно ограничены, и что более сложные задачи, многозадачное обучение и априорные факторы, благоприятствующие разреженным причинным взаимодействиям, могут смещать сети в сторону более интерпретируемых человеком представлений (67, 69–71 ), которые более тесно связаны с латентными переменными, требующими действий.

Заключение.

Успех наших методов на моделируемых агентов предполагает, что они могут быть плодотворно применены к экспериментальным данным от реальных животных, выполняющих такие задачи по поиску пищи (21, 72), или к более сложным задачам, требующим еще более сложных вычислений.Модели XAI помогают конструировать состояния убеждений и динамику, необходимые для решения интересных задач. Это обеспечит полезные цели для интерпретации динамических паттернов нейронной активности, которые, в свою очередь, могут помочь идентифицировать нейронные субстраты мышления.

Материалы и методы

Обратное рациональное управление.

Полная математическая информация для IRC, задачи поиска и обучения нейронной сети доступна в приложении SI . Параметры были выбраны, чтобы выявить интересное поведение, например уравновешивание значимости предсказуемой динамики с сенсорными сигналами.против р. Это дает нейронные оценки релевантных для задачи переменных b̌ = W̌r + c для новых данных.

Перекодирование.

Мы находим динамику путем регрессии b̌t против (b̌t − 1, ot) с регрессией гребня ядра. Ядерные функции — это радиальные базисные функции с центрами на дискретных целевых убеждениях и шириной на полувысоте, равной интервалу между дискретными убеждениями. Это дает функцию перекодирования f̌rec (b̌t, ot), представляющую нелинейную динамику нейронных убеждений. т.

Расшифровка.

Мы вычисляем функцию декодирования мозга, то есть приблизительную политику π̌dec, используя нелинейную полиномиальную регрессию b̌ против a с теми же радиальными базисными функциями, что и при перекодировании. Мы используем пространство признаков радиальных базисных функций с центрами на сетке 9 × 9 над убеждениями, с шириной, равной расстоянию между центрами, и пространством внешнего продукта над местоположениями.

Доступность данных.

Нет данных, связанных с этим документом.

Благодарности

Мы благодарим Дору Ангелаки, Батиста Казиота, Валентина Драгои, Крешимира Йосича, Же Ли, Раджкумара Раджу и Неду Шахиди за полезные обсуждения.Z.W., P.S. и X.P. были частично поддержаны грантом Национального института здравоохранения Инициативы BRAIN 5U01NS094368. Z.W. и X.P. были частично поддержаны наградой Фонда Макнейра. S.D. и X.P. были частично поддержаны Simons Collaboration on the Global Brain Award 324143 и Национальным научным фондом (NSF) 1450923 BRAIN 43092. X.P. и М.К. были частично поддержаны премией NSF CAREER Award IOS-1552868.

Сноски

• Вклад авторов: P.S. и X.П. спланировал исследование; Z.W., M.K., S.D., P.S. и X.P. проведенное исследование; Z.W., M.K., S.D., P.S. и X.P. проанализированные данные; и Z.W., P.S. и X.P. написал газету.

• Авторы заявляют об отсутствии конкурирующей заинтересованности.

• Настоящий документ является результатом Коллоквиума Артура М. Саклера Национальной академии наук «Мозг производит разум путем моделирования», состоявшегося 1–3 мая 2019 г. в Центре Арнольда и Мейбл Бекман Национальных академий наук. и инжиниринг в Ирвине, Калифорния.Коллоквиумы NAS начались в 1991 г. и с 1995 г. публикуются в PNAS. С февраля 2001 г. по май 2019 г. коллоквиумы поддерживались щедрым подарком от Дамы Джиллиан и Фонда доктора Артура М. Саклера для искусств, наук и гуманитарных наук в г. память о муже дамы Саклер, Артуре М. Саклере. Полная программа и видеозаписи большинства презентаций доступны на веб-сайте NAS http://www.nasonline.org/brain-produces-mind-by.

• Эта статья представляет собой прямую публикацию PNAS.

• Размещение данных: код для дискретного случая в этой статье доступен в Github по адресу https://github.com/XaqLab/IRC_TwoSiteForaging.

• ↵ * Даже когда политика реализуется нейронной сетью, нет необходимости в том, чтобы эта сетевая архитектура соответствовала архитектуре мозга, которую она пытается интерпретировать, если ее можно обучить для соответствия оптимальному входу — функция вывода от убеждений к действиям для соответствующего семейства задач.

• ↵ ^† Мы используем термин «декодирование» с точки зрения мозга., в отличие от оценок, основанных на нейронных ответах, обозначенных шляпой, направленной вниз, x̌, как указано в SI Приложение , Таблица S1.

• Эта статья содержит вспомогательную информацию в Интернете по адресу https://www.pnas.org/lookup/suppl/doi:10.1073/pnas.1912336117/-/DCSupplemental.

Разумное и рациональное использование в JSTOR

Эволюцию нервных систем, достигающих высшей точки в человеческом сознании, лучше всего изучать с помощью анализа бодрствования и составляющих его функций чувствительности и познания.Оперативное предположение в этой модели состоит в том, что бодрствование возникло на заре филогении и последовательно информируется возрастающей сложностью сенсорных и когнитивных функций. Бодрствование составляет сущность человеческого сознания, но когнитивные и чувственные функции усложняют анализ форм осознания, предоставляемых низшим видам. Народная психология признана подходящей отправной точкой для анализа, в отличие от философского бихевиоризма, который отказывается от предположения о нечеловеческой чувствительности.Показано, что концепции смутного осознавания и инстинктивных автоматизмов, которые до сих пор применялись к нечеловеческим животным, путают нечеткость примитивной сенсорной и когнитивной обработки с филогенетически инвариантным бодрствованием, которое, согласно гипотезе, нельзя ослабить ни у одного вида. Обыденные поведенческие свидетельства инфрачеловеков должны оставаться критерием оценки моделей сознания, а не какой-либо программой, интерпретирующей эмпирические свидетельства, чтобы запретить феноменальный опыт людей или инфрачеловеков.

The Journal of Mind and Behavior (JMB) признает, что разум и поведение позиционируются, взаимодействуют и причинно связаны друг с другом разнонаправленными способами; Журнал призывает исследовать эти взаимосвязи. JMB особенно интересуется научной работой в следующих областях: психология, философия и социология экспериментирования и научного метода; проблема разума и тела в психиатрии и социальных науках; критический анализ концепции DSM-биопсихиатри-соматотерапии; вопросы, относящиеся к этическому изучению познания, самосознания и высших функций мышления у нечеловеческих животных.

Небольшое академическое издательство, посвященное междисциплинарному подходу в психологии, психиатрии и смежных областях. Издатель журнала «Разум и поведение». Спонсор симпозиумов и конференций по теориям сознания и проблеме разума и тела в социальных науках.

Рациональное мета-рассуждение и пластичность когнитивного контроля

Для оценки предложенных моделей мы использовали их для моделирования пластичности контроля внимания в задаче визуального поиска [17], а также эффектов обучения и передачи в парадигмах Струпа и Фланкера [8– 11].Таблица 1 суммирует смоделированные явления и то, как модель LVOC объясняет каждое на концептуальном уровне.

Обучение управлению зрительным вниманием.

Предыдущее исследование показало, что то, как люди распределяют свое внимание, формируется в процессе обучения [8–11,15–17]. Например, Лин и его коллеги [17] предложили участникам выполнить задачу визуального поиска, в которой они постепенно научились распределять свое внимание на места, цвет которых предсказывал появление цели (рис. 1а). В этом задании участники рассматривали набор из четырех повернутых букв (одна буква T и три буквы L), каждая из которых была окружена кружком разного цвета.Им было поручено сообщить об ориентации буквы T. Круги, появившиеся перед буквами, позволили участникам сосредоточить свое внимание путем саккадирования в перспективное место до появления букв. На этапе обучения цель всегда появлялась внутри зеленого круга, но на этапе тестирования она с равной вероятностью появлялась в любом из четырех кругов.

Рис. 1. Обучение управлению распределением внимания.

a) Задача визуального поиска, используемая Lin et al. (2016).б) Человеческие данные из эксперимента 1 Lin et al. (2016). в) Прогнозы модели LVOC. г) Подгонка модели Win-Stay Lose-Shift. д) Подгонка модели Рескорла-Вагнера.

https://doi.org/10.1371/journal.pcbi.1006043.g001

Визуальный поиск влечет за собой последовательное распределение когнитивного контроля в разных местах в зависимости от их визуальных характеристик. Поскольку внимание можно рассматривать как пример когнитивного контроля, эта проблема естественно моделируется как MDP мета-уровня. Поэтому мы применили нашу теорию LVOC для прогнозирования динамики и последствий изучения того, какие места следует посещать, на основе их характеристик (цветных кружков) в этой парадигме.Поскольку стимулы были представлены по кругу, что приблизительно соответствует местам, которые люди могут посещать круглосуточно, мы предположили, что управляющий сигнал c ∈ {1,2,3,…, 12} указывает, какое из 12 мест посетить, состояние s _t кодирует, какие из 12 местоположений были выделены цветным кругом (см. Рис. 1a), цвета кругов, неизвестное положение цели и список местоположений, которые уже были проверены на текущее испытание.Поскольку набор возможных управляющих сигналов невелик, наше моделирование предполагает, что мозг всегда находит управляющий сигнал, который максимизирует предсказанный EVOC (уравнение 9).

Элементы f ( s , c ) кодируют только наблюдаемые аспекты состояния s , которые имеют отношение к значению управляющего сигнала c . Конкретно, в наших симуляциях предполагалось, что функции кодируют, было ли посещаемое место выделено цветным кругом, цвет этого круга (по одной двоичной индикаторной переменной для каждого возможного цвета), его положение (по одной двоичной индикаторной переменной для каждого из четырех возможных места), и посещались ли они раньше.Чтобы зафиксировать предыдущие знания людей о том, что посещение места во второй раз вряд ли предоставит новую информацию, мы установили приоритет для веса последней характеристики на -1; это отражает хорошо известный механизм торможения возврата в зрительном внимании [44]. Для всех других характеристик среднее априорное значение весов было 0. Основываясь на результатах, представленных в [17], мы смоделировали время реакции как сумму времени отсутствия решения, равного 319 мс, и времени принятия решения, равного 98 мс, на каждое посещаемое место. . В нашем моделировании предполагалось, что люди несут фиксированные затраты ( r ( s , c ) = затраты (c) = −1 для всех c ∈ {1,2,3,4}) каждый раз при развертывании. их внимание к месту.Для простоты мы предполагаем, что в этой простой задаче люди всегда ищут, пока не найдут цель, и что, когда они обращаются к месту, они всегда распознают присутствие / отсутствие цели и реагируют соответствующим образом. Следовательно, интуиция о том, что люди должны попытаться найти цель с минимальным количеством саккад, напрямую вытекает из цели максимизации суммы вознаграждений на мета-уровне. Применительно к этой задаче визуального поиска модель LVOC предлагает механизм, с помощью которого люди узнают, где распределить свое внимание на основе сигналов окружающей среды, чтобы найти цель как можно быстрее.

Наша модель ассоциативного обучения предполагает, что поиск цели дает внутреннее вознаграждение +1 и не требует вознаграждения или затрат в противном случае. Ответы C были саккадами в одно из 12 мест. Стимулы S включали индикаторные переменные для каждого из четырех цветов, отсутствие круга и то, проверялось ли место ранее, и одну особенность, которая всегда была 1. Чтобы зафиксировать торможение возврата, вознаграждение ассоциируется со стимулом: функция, указывающая на то, что место ранее посещалось, была инициализирована на -1.Все остальные силы ассоциации были инициализированы равными 0, а скорость обучения модели Рескорла-Вагнера соответствовала данным из [17] с использованием оценки максимального правдоподобия.

В этой задаче модель WSLS также создает последовательность саккад c ₁ , c ₂ , ⋯ ∈ C путем многократного смещения внимания в другое место, пока цель не будет найдена.

Эффекты обучения и передачи при тормозящем управлении.

В парадигмах Струпа и Фланкера стратегия когнитивного контроля o определяется одним управляющим сигналом c ∈ [0,1], который служит для отклонения обработки от автоматического механизма.Следуя классической модели Коэна и его коллег [45], мы предполагаем, что управляющие сигналы определяют относительный вклад автоматического по сравнению с контролируемым процессом в скорость дрейфа d , с помощью которой накапливаются данные о контролируемой реакции [46]: (12) где d _{контролируемый} и d _{автоматический} — скорости дрейфа контролируемого и автоматического процесса соответственно, и C = 1, когда испытание конгруэнтно, или -1, когда испытание неконгруэнтно.Скорости дрейфа, в свою очередь, влияют на отклик и время отклика в соответствии с моделью дрейфа-диффузии [46]. Когда переменная решения превышает порог + θ , тогда ответ соответствует управляемому процессу (что эквивалентно правильному ответу для этих задач). Когда переменная решения падает ниже — θ , ответ неверен. Чтобы выявить источники ошибок за пределами процесса накопления свидетельств (например, моторные ошибки выполнения), наше моделирование предполагает, что люди случайно дают противоположный их предполагаемый ответ в небольшой части испытаний ( p _flip <0.05).

Мы моделируем выбор непрерывных управляющих сигналов как градиентный подъем на EVOC, предсказанный выборкой Томпсона (уравнения 8 и 9). Конкретно, непрерывные управляющие сигналы выбираются путем многократного применения правила обновления. (13) до тех пор, пока изменение евклидовой нормы вектора интенсивности управляющего сигнала не станет меньше δ _c . Этот механизм начинается с управляющего сигнала, примененного в предыдущем испытании, и, таким образом, улавливает инерцию спецификации управления [47].Кроме того, он предсказывает, что интенсивность управления регулируется постепенно и непрерывно, тем самым позволяя осуществлять управление, пока оптимальный сигнал управления все еще определяется. Эта особенность нашей модели позволяет интуитивно предсказать, что нехватка времени может уменьшить величину корректировки управления [см. 48,49].

Мы моделируем затраты, связанные с непрерывным управляющим сигналом c , как сумму затрат на управление, необходимых для осуществления этого количества управления (затраты ( c )) и альтернативных затрат на выполнение управляемого процесса ( ω ⋅ т ), то есть (14) где ω — альтернативная стоимость за единицу времени, t — продолжительность управляемого процесса, а стоимость ( c ) — внутренние затраты на подачу управляющего сигнала c .В то время как первый член отражает то, что целенаправленные процессы управления, такие как планирование, могут занимать значительно больше времени, чем автоматические процессы, такие как привычки, второй член отражает то, что из-за интерференции между перекрывающимися путями стоимость управляющего сигнала увеличивается с его интенсивностью [ 13], даже когда интенсивность управления ускоряет процесс принятия решений [11,50,51]. Во многих реальных сценариях и некоторых экспериментах альтернативные издержки меняются во времени. Это можно включить в нашу модель, добавив механизм обучения, который оценивает ω на основе опыта [52,53].Следуя [46], мы моделируем внутреннюю стоимость управления как стоимость реализации. (15) где c — управляющий сигнал, a _i указывает, насколько быстро увеличивается стоимость управления с интенсивностью управления, а b _i определяет минимально возможную стоимость. Монотонное увеличение стоимости управления с интенсивностью сигнала управления, выраженное этим уравнением, моделирует тот факт, что чем более интенсивно вы сосредотачиваетесь на одном процессе, скажем, на цветовом обозначении, тем меньше вы можете делать другие ценные вещи, такие как словесные рассуждения.Эта когнитивная альтернативная стоимость контроля является следствием перекрытия нервных путей, выполняющих разные функции [13,54,55]. Мы не предполагаем никаких затрат на реконфигурацию [46], но нашу структуру можно легко расширить, включив их.

Во всех наших симуляциях количество выборок, взятых из апостериорного распределения по весам, составляло k = 2. Для простоты мы смоделировали распределение контроля в каждом испытании задач Струпа и Фланкера, смоделированных ниже, как независимые, не проблема последовательного, метакогнитивного управления.Альтернативная стоимость времени ( ω в уравнении 14) была установлена ​​на уровне 8 долларов в час [см. 51]. Параметры модели были подобраны методом максимального правдоподобия с использованием байесовской оптимизации [56]. Скорость дрейфа контролируемого и автоматического процесса (уравнение 12) определялась по времени реакции людей на нейтральные испытания. Априорная точность модели в отношении весов была установлена ​​так, чтобы приписать 95% доверительной вероятности EVOC стимула, лежащему в пределах эквивалента ± 5 центов в секунду.

В задании Струпа с цветными словами Кребса и др.[11] Задача участника состояла в том, чтобы назвать цвет шрифта ряда цветных слов, которые либо совпадали, либо несовместимы с самим словом (рис. 2а). Для двух из четырех цветов правильный ответ давал денежное вознаграждение, тогда как ответы на два других цвета никогда не вознаграждались. Наше моделирование этого эксперимента предполагало, что люди представляют каждый стимул списком двоичных признаков, которые кодируют наличие каждого возможного цвета и каждого возможного слова независимо, но не кодируют их комбинации.Чтобы оценить вклад финансовых стимулов эксперимента в правильные ответы, мы предположили, что полезность u ( X ) в уравнении 2 представляет собой сумму финансового вознаграждения и внутренней полезности получения правильных ответов [57], т. Е. (16) (17) где денежное вознаграждение r _{внешнее} составляло 10 центов на вознагражденные испытания и ноль в противном случае. Время без принятия решения было установлено на 300 мс. Параметры стоимости реализации ( a _i и b _i в уравнении 15), вероятность случайных переворотов ответа ( p _flip ), внутреннее вознаграждение r правильного ответа (уравнения 16 и 17), и параметр шума σ модели дрейфовой диффузии (уравнение 12) соответствовали эмпирическим данным, показанным на рис. 2b и 2c.Чтобы обеспечить справедливое сравнение, мы предоставили модели ассоциативного обучения и модели Win-Stay Lose-Shift степени свободы, аналогичные таковым в модели LVOC, добавив параметры для внутреннего вознаграждения за правильность, вероятность ошибки ответа и шум дрейфово-диффузионного процесса. Кроме того, модель Рескорла-Вагнера была оснащена параметром скорости обучения. Каждая модель была адаптирована с использованием оценки максимального правдоподобия с использованием байесовского адаптивного алгоритма прямого поиска [58].

Рис 2.Модель LVOC отражает это в парадигме Krebs et al.

(a) Люди учатся осуществлять больший когнитивный контроль над стимулами, особенности которых предсказывают, что производительность будет вознаграждена, что проявляется в более быстрой реакции (b) и меньшем количестве ошибок (c).

https://doi.org/10.1371/journal.pcbi.1006043.g002

В задании Фланкера Брэма и др. [10] участникам было предложено назвать цвет центрального квадрата (цель , ), окруженного двумя другими квадратами ( дистракторов, ), цвет которых был либо таким же, как цвет мишени (конгруэнтные испытания), либо отличался от это (неконгруэнтные испытания) (рис. 3а).В 25% случайных испытаний правильный ответ был вознагражден, а в остальных 75% испытаний — нет. Наше моделирование предполагало, что люди предсказывают EVOC по двум признакам, которые кодируют наличие конфликта и совпадения соответственно: признак конфликта был +1, когда фланкеры и цель различались по цвету, и ноль в противном случае. И наоборот, значение признака конгруэнтности было +1, когда фланкеры имели тот же цвет, что и цель, и ноль в остальном. Чтобы уловить, что люди проявляют больший когнитивный контроль, когда они обнаруживают конфликт [59], предварительное среднее значение этих весов было +1 для взаимодействия между интенсивностью контрольного сигнала и несовпадением и -1 для взаимодействия между интенсивностью контрольного сигнала и конгруэнтностью.Предоставление нашей модели этих функций подтверждает наше предположение о том, что во Фланкере восприятие задачи является легким, но подавление реакции может быть сложной задачей. Другими словами, наша модель предполагает, что ошибки во Фланкере возникают из-за неспособности преобразовать три правильных восприятия в один правильный ответ, подавляя автоматические ответы на два других. Кроме того, свойство несовместимости также можно интерпретировать как прокси для результирующего конфликта ответов, который, как широко предполагается, управляет корректировкой управляющих сигналов в ходе испытания в задаче Фланкера [59].

Рис. 3. Метакогнитивное обучение с подкреплением отражает влияние вознаграждения на обучение на основе пережитого конфликта, наблюдаемое Braem et al.

(2012). а) Иллюстрация задачи Фланкера Брэмом и др. (2012). б) Человеческие данные Braem et al. (2012). в) Подгонка модели LVOC. г) Подгонка модели Рескорла-Вагнера. д) Подгонка модели Win-Stay Lose-Shift.

https://doi.org/10.1371/journal.pcbi.1006043.g003

В нашем моделировании предполагалось, что люди учатся только на испытаниях с обратной связью.Эффект контроля был смоделирован как подавление вмешательства фланкеров в соответствии с (18) где C = 1, если дистракторы конгруэнтны, и C = -1, если они неконгруэнтны. Скорости дрейфа для сбора информации от цели ( d _{, цель} ) и дистракторов ( d _{фланкеры} ) были приняты одинаковыми. Их значение соответствовало времени отклика для обозначения цвета в нейтральных испытаниях с вознаграждением, о которых сообщалось в [11], а время отсутствия решения составляло 300 мс.Воспринимаемая ценность положительного отзыва была определена путем распределения приза за высокие результаты (10 евро) по 168 вознагражденным испытаниям эксперимента ( z = 7,5 цента США за правильный ответ). Braem et al. [10] обнаружили, что эффект вознаграждения усиливается с повышением чувствительности людей к вознаграждению. Чтобы уловить индивидуальные различия в чувствительности к вознаграждению, мы смоделировали субъективную полезность людей с помощью (19) (20) где z ≥ 0 — выигрыш, а α ∈ [0,1] — чувствительность к вознаграждению.Чувствительность к вознаграждению была установлена ​​на 1, а внутреннее вознаграждение за правильность ( r _{i ntrinsic} ), стандартное отклонение шума ( σ ), порог модели дрейфа-диффузии ( θ ), параметры затрат на реализацию ( a _i , b _i ) соответствовали влиянию вознаграждения на время реакции в конгруэнтных испытаниях (рис. 3c), среднее время реакции, и влияние чувствительности к вознаграждению на адаптацию к конфликту, описанное в [10].Вероятность случайного ответа, противоположного предполагаемому, была установлена ​​на ноль.

Чтобы обеспечить справедливое сравнение между моделью LVOC и двумя более простыми моделями, мы оснастили модель ассоциативного обучения и модель Win-Stay Lose-Shift теми же допущениями и степенями свободы, что и модель LVOC. Эквивалентно модели LVOC для этой задачи, они включали предвзятость против осуществления контроля, который был создан ассоциацией -1 между любой функцией стимула и контрольным усилием.Эффект контроля был смоделирован с использованием той же модели дрейфа-диффузии с тем же набором свободных параметров, и, как и модель LVOC, они также включали свободный параметр для внутреннего вознаграждения за правильность и вероятность ошибки ответа. Кроме того, эти модели включали бесплатный параметр для стоимости осуществления управления, который эквивалентен двум параметрам реализации модели LVOC и параметрам стоимости реконфигурации, потому что их управляющий сигнал был либо 1, либо 0. Кроме того, модель Рескорла-Вагнера включала дополнительный параметр для скорости обучения, давая ему то же количество параметров, что и модель LVOC.

Эксперимент 2 Bugg et al. [8] попросили участников назвать цвет стимулов Струпа, аналогичный тем, которые использовали Krebs et al. [11]. Важно отметить, что некоторые цветные слова были напечатаны в цвете, который появлялся при конгруэнтных испытаниях в 80% случаев, тогда как другие цветные слова были напечатаны в цвете, который появлялся при неконгруэнтных испытаниях в 80% случаев (рис. 4a). Каждое слово было написано курсивом или стандартным шрифтом. Мы смоделировали стимулы с помощью четырех двоичных признаков, указывающих на присутствие каждого из четырех возможных слов (1, если признак присутствует, и 0 в противном случае), и пятого признака, указывающего тип шрифта (0 для обычного и 1 для курсива).Время без принятия решения было установлено на 400 мс. Поскольку за хорошую работу не было внешних вознаграждений, полезность правильных / неправильных ответов составила ± r _{внутреннее значение} . Параметры затрат на реализацию ( a _i и b _i ), вероятность случайного переворота ответа ( p _flip ), внутреннее вознаграждение за правильность ( r _{). внутренний} ) и стандартное отклонение шума ( σ ) соответствовали эмпирическим данным, показанным на рис. 4b и 4c.Учитывая эти параметры, скорость дрейфа для обозначения и считывания цветов была определена в соответствии со временем реакции в нейтральных испытаниях без вознаграждения, о которых сообщалось в [11].

Рис. 4. Модель LVOC фиксирует открытие, что люди учатся регулировать интенсивность своего контроля на основе характеристик, которые предсказывают несоответствие.

а) Парадигма Струпа Цвет-Слово, Бугг и др. (2008). б-в) Модель LVOC показывает, что люди учатся использовать функции, которые предсказывают несоответствие, чтобы быстрее и точнее реагировать на неконгруэнтное испытание.г) Парадигма Штрупа со словом-картинкой, авторы Багг, Джейкоби и Чанани (2011). д-е) Как и люди, модель LVOC быстрее и точнее реагирует на новые образцы из категорий животных, которые ранее научились связывать с более частыми неконгруэнтными испытаниями.

https://doi.org/10.1371/journal.pcbi.1006043.g004

Наконец, Bugg et al. [9] представили своим участникам изображения животных, на которые были наложены имена животных (рис. 4г). Задача участников заключалась в том, чтобы дать имя животному, изображенному на картинке.Важно отметить, что для некоторых животных изображение и слово обычно совпадали, в то время как для других животных изображение и слово обычно несовместимы. За этапом обучения последовала фаза тестирования, в которой использовались новые изображения животных того же вида. Мы смоделировали это изображение-слово Струп, представив каждый стимул вектором бинарных индикаторных переменных. Конкретно, наше представление предполагало одну двоичную индикаторную переменную для каждого слова (например, BIRD, DOG, CAT, FISH) и одну индикаторную переменную для каждой категории изображений (т. Е.э., птичка, собака, кошка, рыба). Время без принятия решения было установлено на 400 мс. Параметры стоимости реализации ( a _i и b _i ), внутреннее вознаграждение за правильность ( r _{собственное} ), стандартное отклонение шума ( σ ) , и вероятность случайного переворота ответа ( p _flip ) соответствовали эмпирическим данным, показанным на рис. 4e и 4f. Учитывая эти параметры, скорость дрейфа для чтения слова соответствовала описанной выше, а скорость дрейфа для именования изображений соответствовала времени отклика 750 мс.

Эмоциональный мозг «физически отличается» от рационального — ScienceDaily

Исследователи из Университета Монаша обнаружили физические различия в мозге людей, которые эмоционально реагируют на чувства других, по сравнению с теми, кто реагирует более рационально, в исследовании, опубликованном в Журнал NeuroImage .

Работа, проведенная Робертом Эресом из Школы психологических наук Университета, выявила корреляции между плотностью серого вещества и когнитивной и аффективной эмпатией.В ходе исследования выяснялось, лучше ли справляются с различными типами сочувствия люди, у которых в определенных областях мозга больше клеток мозга.

«Люди с высоким уровнем аффективной эмпатии — это часто те, кто очень напуган при просмотре страшного фильма или начинает плакать во время грустной сцены. Те, кто обладают высокой когнитивной эмпатией, — это те, кто более рациональны, например, клинический психолог, консультирующий клиент «, — сказал г-н Эрес.

Исследователи использовали морфометрию на основе вокселей (VBM), чтобы изучить степень, в которой плотность серого вещества у 176 участников предсказывала их результаты в тестах, оценивающих их уровни когнитивной эмпатии по сравнению с аффективной — или эмоциональной — эмпатией.

Результаты показали, что люди с высокими показателями аффективной эмпатии имели большую плотность серого вещества в островке, области, находящейся прямо в «середине» мозга. Те, кто набрал более высокие баллы за когнитивную эмпатию, имели большую плотность в средней части коры головного мозга — области над мозолистым телом, которая соединяет два полушария мозга.

«Взятые вместе, эти результаты подтверждают, что эмпатия является многокомпонентной конструкцией, предполагая, что аффективная и когнитивная эмпатия по-разному представлены в морфометрии мозга, а также предоставляют конвергентные доказательства того, что эмпатия представлена ​​различными нейронными и структурными коррелятами», — говорится в исследовании. сказал.

Полученные данные вызывают дополнительные вопросы о том, можно ли улучшить некоторые виды эмпатии с помощью обучения или могут ли люди потерять способность к эмпатии, если они не будут использовать ее в достаточной степени.

«Каждый день люди используют сочувствие к своим знаниям и без них, чтобы ориентироваться в социальном мире», — сказал г-н Эрес.

«Мы используем его для общения, построения отношений и укрепления нашего понимания других».

Тем не менее, это открытие также поднимает новые вопросы — например, могут ли люди научиться быть более эмпатическими, и станут ли эти области мозга больше, если они это сделают, или мы можем потерять способность сочувствовать, если не будем использовать этого достаточно.

«В будущем мы хотим исследовать причинно-следственные связи, проверяя, может ли обучение людей задачам, связанным с эмпатией, привести к изменениям в этих структурах мозга, и исследовать, может ли повреждение этих структур мозга, например, в результате инсульта, привести к нарушениям эмпатии , — сказал мистер Эрес.

История Источник:

Материалы предоставлены Университетом Монаша . Примечание. Содержимое можно редактировать по стилю и длине.

Рационально ли доверять своей интуиции? Нейробиолог объясняет

Представьте, что директор большой компании объявляет о важном решении и оправдывает его, основываясь на интуиции.Это было бы встречено с недоверием — неужели важные решения нужно обдумывать тщательно, осознанно и рационально?

Действительно, полагаться на свою интуицию, как правило, не очень хорошо, особенно в западной части мира, где аналитическое мышление неуклонно продвигалось на протяжении последних десятилетий. Постепенно многие пришли к выводу, что люди перешли от опоры на примитивное, магическое и религиозное мышление к аналитическому и научному мышлению. В результате они рассматривают эмоции и интуицию как ненадежные и даже причудливые инструменты.

Однако это отношение основано на мифе о когнитивном прогрессе. На самом деле эмоции — это не глупые реакции, которые всегда нужно игнорировать или даже корректировать с помощью рациональных способностей. Это оценка того, что вы только что испытали или о чем подумали — в этом смысле они также являются формой обработки информации.

Интуиция или внутреннее чутье также являются результатом большой обработки, происходящей в мозгу. Исследования показывают, что мозг — это большая прогностическая машина, которая постоянно сравнивает поступающую сенсорную информацию и текущий опыт с сохраненными знаниями и воспоминаниями о предыдущем опыте, и предсказывает того, что будет дальше.Это описано в том, что ученые называют «структурой прогнозной обработки».

Это гарантирует, что мозг всегда будет максимально подготовлен к тому, чтобы справиться с текущей ситуацией как можно оптимальнее. Когда возникает несоответствие (то, что не было предсказано), ваш мозг обновляет свои когнитивные модели.

Это соответствие между предыдущими моделями (на основе прошлого опыта) и текущим опытом происходит автоматически и подсознательно. Интуиция возникает, когда ваш мозг обнаружил значительное совпадение или несоответствие (между когнитивной моделью и текущим опытом), но это еще не достигло вашего сознательного осознания.

Например, вы можете ехать по проселочной дороге в темноте, слушая музыку, и вдруг у вас возникнет интуиция, чтобы съехать на одну сторону полосы. Продолжая движение, вы замечаете, что только что пропустили огромную выбоину, которая могла серьезно повредить ваш автомобиль. Вы рады, что полагались на свое чутье, даже если не знаете, откуда оно взялось. На самом деле, машина на дальнем расстоянии перед вами сделала такой же небольшой поворот (так как они местные жители и знают дорогу), и вы уловили это, не замечая этого сознательно.

Когда у вас большой опыт в определенной области, мозг получает больше информации, чтобы сопоставить текущий опыт. Это делает вашу интуицию более надежной. Это означает, что, как и в случае с творчеством, ваша интуиция может действительно улучшиться с опытом.

Предвзятое понимание

В психологической литературе интуиция часто объясняется как один из двух основных способов мышления наряду с аналитическим рассуждением. Интуитивное мышление описывается как автоматическое, быстрое и подсознательное.С другой стороны, аналитическое мышление медленно, логично, сознательно и обдуманно.

Многие считают, что разделение на аналитическое и интуитивное мышление означает, что два типа обработки (или «стили мышления») являются противоположностями, действующими по принципу «качели». Однако недавний метаанализ — исследование, в котором измеряется влияние группы исследований — показал, что аналитическое и интуитивное мышление обычно не взаимосвязаны и могут происходить одновременно.

Итак, хотя верно то, что один стиль мышления, вероятно, кажется доминирующим над другим в любой ситуации — в частности, аналитическое мышление, — подсознательная природа интуитивного мышления затрудняет точное определение того, когда это происходит, поскольку так много всего происходит под капотом наша осведомленность.

Действительно, два стиля мышления на самом деле дополняют друг друга и могут работать согласованно — мы регулярно используем их вместе. Даже новаторские научные исследования могут начинаться с интуитивного знания, которое позволяет ученым формулировать новаторские идеи и гипотезы, которые впоследствии могут быть подтверждены путем тщательного тестирования и анализа.

Более того, хотя интуиция считается неряшливой и неточной, аналитическое мышление также может быть вредным.Исследования показали, что чрезмерное обдумывание может серьезно помешать нашему процессу принятия решений.

В других случаях аналитическое мышление может просто состоять из апостериорных обоснований или рационализаций решений, основанных на интуитивном мышлении. Это происходит, например, когда нам приходится объяснять свои решения моральными дилеммами. Этот эффект позволил некоторым людям называть аналитическое мышление «пресс-секретарем» или «внутренним юристом» интуиции. Часто мы не знаем, почему принимаем решения, но все же хотим иметь причины для своих решений.

Инстинкты доверия

Так должны ли мы просто полагаться на нашу интуицию, учитывая, что она помогает нам принимать решения? Все сложно. Поскольку интуиция полагается на эволюционно более древнюю, автоматическую и быструю обработку данных, она также становится жертвой заблуждений, таких как когнитивные предубеждения. Это систематические ошибки мышления, которые могут возникать автоматически. Несмотря на это, ознакомление с распространенными когнитивными предубеждениями может помочь вам обнаружить их в будущем: здесь и здесь есть хорошие советы о том, как это сделать.

Точно так же, поскольку быстрая обработка является древней, иногда она может быть немного устаревшей. Рассмотрим, например, тарелку пончиков. Хотя вас может заинтересовать их все, маловероятно, что вам понадобится такое большое количество сахара и жиров. Однако во времена охотников-собирателей запасаться энергией было мудрым инстинктом.

Таким образом, для каждой ситуации, требующей решения, основанного на вашей оценке, подумайте, правильно ли ваша интуиция оценила ситуацию.Это эволюционная старая или новая ситуация? Связаны ли это с когнитивными предубеждениями? Есть ли у вас опыт или знания в подобной ситуации? Если он эволюционно старый, связан с когнитивной предвзятостью и у вас нет в нем опыта, положитесь на аналитическое мышление. Если нет, не стесняйтесь доверять своему интуитивному мышлению.

Пора прекратить охоту на ведьм, основанную на интуиции, и увидеть, что это такое: быстрый, автоматический, подсознательный стиль обработки, который может предоставить нам очень полезную информацию, недоступную при преднамеренном анализе.Мы должны признать, что интуитивное и аналитическое мышление должны происходить вместе и сравниваться друг с другом в сложных ситуациях принятия решений.

Вы можете узнать больше об интуиции, послушав этот выпуск нашего подкаста «Муравейник».

Если вам понравилась эта статья и вы хотели бы принять участие в нашем исследовании о стилях мышления и убеждениях, нажмите здесь, чтобы пройти 20-минутный опрос.