Оглавление
Коллективный учебник-гайд от Колаборатории
Коллективный учебник-гайд
от Колаборатории
когнитивные искажения и системные ошибки в науке
Информационная грамотность в изучении цифровых международных отношений
/Глава 18
  • Юрий Колотаев
    Автор
Появление цифровых методов анализа сопровождается большим количеством издержек и искажений, способных навредить эффективной научной работе. Выявление таких проблем сводится к понятиям цифровая и информационная грамотность, выявляющих повторяющиеся искажения в научной работе: системные ошибки в науке, ошибки применения цифровых методов и интерпретации цифровых данных, когнитивные ограничения.
/01

Информационная и цифровая грамотность

Перспективы и возможности, появляющиеся с развитием цифровых методов анализа, открывают большие горизонты перед исследователями-международниками. Они позволяют выявлять скрытые ранее коммуникативные закономерности в изучении мировых процессов, опираясь при этом на чёткие эмпирические данные.
Вместе с тем появление новой методологии сопровождается большим количеством издержек и искажений, способных навредить эффективной научной работе. Попытки подсветить такие проблемы сводятся к понятиям цифровая и информационная грамотность, выявляющих повторяющиеся ошибки в научной работе, сопряженные как с новыми методами анализа, так и с устойчивыми историческими проблемами самой науки.
Информационная и цифровая грамотность — это интегрированный набор навыков работы с данными, источниками и цифровыми технологиями в ходе исследовательской деятельности.
Этот набор включает в себя понимание возможностей и ограничений актуальных методов научного анализа, а также способность критически анализировать результаты их применения.
Следует разделить информационную и цифровую грамотность на несколько компонентов, понимание которых позволит избежать основных искажений в научной работе:
Системные ошибки в науке
Ошибки применения цифровых методов
Ошибки интерпретации цифровых данных
Когнитивные ограничения
/02

Системные научные ошибки

Проблема научных искажений в частности и в области (цифровых) международных отношений, включает в себя несколько ключевых аспектов, таких как ложные корреляции, ошибки шкал, тенденциозность и нерепрезентативность. Эти искажения могут существенно влиять на качество исследований и выводы, сделанные на их основе.
Ключевые научные искажения:
Таким образом, проблемы научных искажений становятся более сложными с развитием цифровых средств анализа международных отношений. Эти вызовы требуют более тщательного подхода к методологии исследований и анализа данных для обеспечения достоверности выводов и рекомендаций.
/03

Ошибки применения цифровых методов и интерпретации цифровых данных

Уровни анализа информации

Для анализа цифровых процессов необходимо учитывать три ключевых уровня обработки и репрезентации информации в цифровой среде, каждый из которых накладывает свои ограничения.
Три ключевых уровня:
Понимание алгоритмов и технологий позволяет исследователям оценить их пригодность на каждом из уровней анализа:
  • На уровне медиа: как алгоритмы социальных сетей определяют охват и доступность данных
  • На уровне дискурса: как алгоритмы могут усиливать определенные нарративы, создавая информационные искажения
  • На уровне индивидуальных когнитивных механизмов: индивидуальный опыт может привести к переоценке или, напротив, недооценке наблюдаемых явлений

Цифровая грамотность: международный контекст

  • Цифровые инструменты и платформы могут работать по-разному в разных юрисдикциях.
Например, европейские стандарты защиты данных (GDPR) накладывают строгие ограничения на использование персональных данных, что влияет на выбор инструментов и методик, а также на выборку.
  • Международные исследования требуют особого внимания к прозрачности и воспроизводимости.
Алгоритмы, созданные в одной стране, могут быть непригодны для данных из другой из-за «культурных», «структурных» (т.е. связанных с совместимостью и доступностью) или языковых различий. Понимание и отражение в тексте исследования таких ограничений помогает обеспечить надежность результатов.
  • Ориентация на международные стандарты управления данными.
Такие международные стандарты управления данными, как FAIR-принципы (англ. Findable, Accessible, Interoperable, Reusable; рус. находимость, доступность, совместимость и возможность повторного использования) особенно актуальны при совместных проектах, в которых участвуют исследователи из разных стран. Также важно обеспечить прозрачность при работе с трансграничными данными, избегая несанкционированного использования информации и следуя этическим стандартам. В частности, обеспечить согласие пользователей и анонимизацию (см. Главу 17).

Эффект фрейминга и прайминга

При работе с цифровыми платформами большую роль играет эффект фрейминга и прайминга. Они напрямую связаны с формированием мнения и восприятия событий международной реальности, особенно в цифровых международных отношениях. Эти понятия отражают, как информация представлена в медиа-пространстве и какую реакцию способна вызвать. При этом фрейминг и прайминг — это явления, формирующиеся благодаря «оптике» и «архитектуре» информационного посредника.
Фрейминг (framing) — это форма структурирования информации, осуществляемая через выбор языка, контекста, метрик или визуализации.
Фрейминг стремится акцентировать внимание на определенных аспектах события или проблемы, что осуществляется как в рамках отдельного текста, так и целой платформы. Например, использование терминов с разной эмоциональной окраской («вызов» вместо «кризис», «оптимизация» вместо «снижение») способно кардинально изменить восприятие проблемы, даже если количественные данные остаются неизменными.
Прайминг (priming) — это процесс подачи информации, при котором предварительный контекст или стимулы влияют на восприятие и интерпретацию последующей информации.
Например, если платформа заранее настроена на поиск или выдачу «кризисных» данных, она начинает придавать большее значение отрицательным аспектам ситуации, игнорируя положительные. В то же время, алгоритм поиска информации или структурирования данных, «заточенный» под аналогичный поиск данных, будет избегать информации, выходящей за рамки предварительного контекста.
Это, с одной стороны, упрощает поиск нужной информации, но, с другой стороны, создаёт риск снижения репрезентативности данных. В анализе данных прайминг, контекстуализируя процесс обработки, часто проявляется через предварительные гипотезы или выбор обучающих данных для моделей.
Иллюстрируя практический аспект фрейминга и прайминга на социальных сетях, следует обратить внимание на принцип подачи информации — через заголовки, хэштеги, метрики вовлечённости или выбор ключевых слов. Именно они определяют, как пользователи интерпретируют происходящее.
Пример:
В исследовании общественного мнения на тему изменения климата использование термина «глобальное потепление» вместо «климатический кризис» способно по-другому влиять на эмоциональный отклик и восприятие срочности проблемы.
Также метрики, такие как число упоминаний или уровень вовлечённости, могут создавать ложное ощущение значимости определённой темы, если не учитывать общий контекст и размер аудитории. Иными словами, эффекты фрейминга усиливаются, когда исследователи анализируют данные, извлечённые из социальных сетей, без учёта алгоритмических особенностей платформ.
Алгоритмы социальных сетей могут усиливать эффекты прайминга и фрейминга, если они обучены на данных, уже содержащих предвзятости. Если система машинного обучения анализирует новости, которые преимущественно используют сенсационные или негативно окрашенные заголовки, она может неверно интерпретировать общий тон дискуссии, игнорируя более нейтральные аспекты.

Методы выявления и минимизации эффектов фрейминга и прайминга:

  • Использование многоканальных данных для проверки результатов;
  • Исследователям важно осознавать влияние предварительных гипотез и запросов на результаты;
  • Проверка формулировок и анализ терминологии, используемой в исследовании, помогает выявить эмоциональную окраску и сместить фокус к более нейтральным формулировкам;
  • Тестирование разных сценариев и использование нескольких альтернативных интерпретаций данных позволяет снизить влияние фрейминга;
  • Интеграция данных из разных социальных сетей для выявления общих трендов и исключения «алгоритмической предвзятости» одной платформы;
  • Сопоставление данных социальных сетей с опросами, новостями или статистическими отчетами для проверки достоверности выводов.

Критическое мышление

При работе с данными из социальных сетей также следует обращать внимание на различные типы информации, способной создавать погрешность или искажения при формировании выборки, включая: намеренную и ненамеренную дезинформацию, мошеннические материалы и другие типы информационного «шума». Недобросовестное взаимодействие с данными также может порождать фальсификацию статистики или манипуляции с графиками.
Для решения подобных проблем основным инструментом выступает критическое мышление, находящееся в центре информационной грамотности как важный навык для работы с данными в условиях массовых фейков и цифровой дезинформации.
К критическому мышлению относится набор практик, варьирующийся от банальной проверки происхождения источников (включая репутацию авторов, наличие ссылок на оригинальные данные и уровень детализации информации) до оценки наличия скрытых мотивов или заинтересованности авторов контента или источника данных.
Ключом для критической оценки данных выступает сравнение информации из различных источников для выявления расхождений. Распознавание же манипулятивных техник и фальсифицированных данных является более продвинутым навыком, опирающимся в том числе и на осознание собственных когнитивных триггеров, которые могут быть использованы в манипулятивных целях.
/04

Когнитивные ошибки и искажения в исследованиях

Когнитивные ошибки (или искажения) — это систематические отклонения в восприятии, запоминании, интерпретации и анализе информации, которые возникают из-за ограничений человеческого мышления.
Эти искажения часто являются следствием автоматизированных мыслительных процессов, направленных на упрощение сложной информации. Аналогичные паттерны можно наблюдать и в алгоритмах/ИИ, связанные в том числе и с «галлюцинированием» или искажением данных.
В научных исследованиях когнитивные ошибки могут приводить к снижению качества анализа. Они особенно распространены при работе с большими объемами данных или сложными моделями. Когнитивные ошибки напрямую сопряжены с уже упомянутыми общенаучными искажениями, а также критическим мышлением.
Примеры когнитивных ошибок и их влияние на научные исследования:
Когнитивные ошибки «перекладываются» и на ИИ-алгоритмы. Это происходит из-за неправильной настройки моделей, предвзятости в обучающих данных или выбора критериев оценки. Так, если в обучающих данных преобладает определённая точка зрения (например, этическая или политическая), ИИ при отсутствии корректирующих алгоритмов будет воспроизводить эту предвзятость.
Возможно также воспроизведение ошибки базового уровня. Алгоритмы прогнозирования, игнорирующие базовую статистику, переоценивают важность редких и выделяющихся данных. Иначе говоря, недостаточный учёт общей вероятности событий (базового уровня) приводит к искажённым выдачам и прогнозам.
Когнитивные ошибки, перенесённые в ИИ, могут существенно снизить точность прогнозов, адекватность моделей и качество выводов. Искажения в обучении способны сделать модели менее устойчивыми к реальным данным. Следовательно, когнитивные ошибки являются важным фактором, влияющим на качество научных исследований и с точки зрения исследователя, и с точки зрения использования цифровых технологий.
/05

Практические подходы к минимизации системных ошибок, искажений и медиаэффектов

Обучение информационной и цифровой грамотности

  • Развитие базовых навыков работы с данными, т. е. понимание основ статистики, принципов работы алгоритмов и методов обработки информации.
  • Рефлексия о критическом мышлении и обучение распознаванию предвзятости и дезинформации в данных.
  • Развитие этического вектора в исследовании через акцент на конфиденциальности данных, ответственном использовании алгоритмов и соблюдении научной честности.

Использование «многомодульных» подходов

Многомодульный подход подразумевает сбор и сопоставление данных из различных источников, таких как социальные сети, официальные отчёты и новостные медиа. Это позволяет уменьшить влияние алгоритмической предвзятости, характерной для социальных сетей, а также проверить достоверность выводов, сопоставляя их с независимыми источниками.
Так удаётся снизить риск систематических ошибок, вызванных ограничениями одного источника. В частности, требуется кросс-валидация т. е проверка данных, при которой результаты из одного источника подтверждаются с помощью другого (например, анализ совпадений в тенденциях, выявленных разными алгоритмами обработки данных).
Чек-листы для оценки достоверности источников данных:
  • Кто создал контент? / Насколько известен источник?
  • Это оригинальные данные?
  • Правильная категоризация собираемых данных: попытка информировать, манипулировать или вызвать сенсацию?
  • Есть ли противоречия или явная предвзятость в наблюдаемых закономерностях и корреляциях?
  • Совпадают ли утверждения / данные с более широким контекстом?
Информационная грамотность с учетом требований цифровых международных отношений становится ключевым фактором успешной научной деятельности. Она способствует повышению качества исследований, минимизации рисков и укреплению доверия к науке. Использование многоуровневого подхода к анализу, учёт системных научных искажений и критическое отношение как к когнитивным процессам, так и алгоритмам помогают повысить объективность и точность исследований в цифровую эпоху.
Практикум
Ответьте на вопросы для закрепления материала
Хотите больше узнать по теме? Ознакомьтесь с данной литературой
Читайте также:
Глава 16
Медиамониторинг в исследованиях повестки дня
Глава 17
Этика использования ИИ в научных исследованиях