Здесь мы разберем проблему биасов нейросетей, того, как они возникают, и того, как они влияют на наши жизни.
Понимание принципов работы проблемы и ее истоков, как мне кажется, уже наполовину ведет к ее решению. Посему в этой работе мы коснемся истории, уже совершенных практических «ошибок» в сфере этой проблемы, и, возможно, предложим несколько путей ее решения. Проще говоря — от общего к частному.
Итого, перво-наперво стоит разобраться, что есть биас и при каких обстоятельствах он появляется.
«Биас» — это предвзятость или искажение восприятия, которое может привести к нерациональному принятию решений. Это систематическая ошибка или смещение в результатах из-за предубеждения или неправильной обработки информации. Например, если в эксперименте используется ненадежный метод измерения или если исследовательское сообщество склонно пренебрегать определенными данными из-за своих убеждений, это может привести к появлению биаса.
Теперь, когда читателю ясно первое, жизненно важное для текста (но, возможно, не его жизни) определение, мы вправе шагнуть чуть дальше и понять для себя, когда и при каких обстоятельствах этот биас появляется.
Обыкновенно выделяют три основных причины его возникновения, но не будем вдаваться в них слишком подробно на этом этапе, пройдемся «по верхам»
1. Некорректная постановка задачи.
Допустим, розничная компания хочет использовать методы машинного обучения для определения предпочтений потребителей. Однако предпочтения и вкусы людей — это сложные и индивидуальные концепции, и разработанная модель будет отражать в себе представления разработчиков о том, как можно сформулировать их в более точные параметры. В этом случае задача поставлена слишком широко, и основывается на индивидуальных предпочтениях людей, что сложно представить в виде конкретного списка, по которому программа будет определять свою работу.
2. Некорректный сбор данных.
«Существует два основных способа проявления предвзятости в данных обучения: либо собранные вами данные не отражают реальность, либо они отражают существующие предрассудки. Первый случай может произойти, например, если алгоритму глубокого обучения будет передано больше фотографий светлокожих лиц, чем темнокожих. В результате распознавания лиц система неизбежно будет хуже распознавать людей с темной кожей лица. Второй случай — это именно то, что произошло, когда Amazon обнаружила, что ее внутренний инструмент подбора персонала увольняет женщин-кандидатов. Поскольку ИТ-отдел был обучен историческим решениям о приеме на работу, в которых предпочтение отдавалось мужчинам, а не женщинам, он научился делать то же самое.» [Карен Хао, 2019]
3. Некорректная подготовка данных.
Подготовка данных — это важный этап, на котором происходит выбор атрибутов, которые будут учитываться в модели. Это необходимо отличать от формулирования самой проблемы, так как для разных задач могут использоваться как одни и те же атрибуты, так и разные.Например, при создании модели определения предпочтений потребителей для системы рекомендации товаров могут использоваться атрибуты, такие как предпочитаемые категории товаров, предыдущие покупки или рейтинги отзывов. А при разработке рекрутингового инструмента для Amazon можно использовать атрибуты, такие как пол кандидата, уровень образования или опыт работы. Выбор того, какие атрибуты учитывать и какие игнорировать, является важным аспектом глубокого обучения, и он может сильно повлиять на точность прогнозов модели. Однако, хотя его влияние на точность легко измерить, его воздействие на смещение модели не так просто оценить.
Теперь, когда с формальностями покончено, можно двигаться дальше, к более интересным для нас темам.
Термин «биасы нейросетей» — крайне сложен, ведь чисто при попытке разложить его на составляющие начинается казаться, что этот феномен (биас) задает сама нейросеть. Однако, как мы выяснили выше, зачастую виноват в возникновении ошибок именно человек, тренирующий эту сеть. Таким образом выходит, что корректнее в этом случае будет говорить «биас людей, тренирующих нейросети»? И да, и нет. С одной стороны, феномен «баиса» — чисто человеческий, для нейросети понятие «неэтичности», происходящее вследствие внутренних «ошибок» крайне условно. Так что, в нашем случае, «биас в глазах смотрящего». При этом возвращаясь к терминологии, важно понимать, что нейросеть может также усиливать или даже создавать новый биас на основе обучающих данных. Поэтому можно говорить как о «биасе нейросети», так и о «биасе человека, тренирующего эту нейросеть».
Как мне кажется, все становится легче с примерами.
Например, врач, обучая нейросеть для диагностики определенного заболевания на основе медицинских изображений (например, рентгеновских снимков), может иметь свои субъективные предпочтения и мнения относительно того, какие признаки следует считать более важными при диагностике. Эти предпочтения и мнения могут быть отражены в обучающих данных, которые врач использует для обучения нейросети.
После такого обучения, когда нейросеть начинает принимать решения самостоятельно, она может усвоить и увеличить эти изначальные предпочтения врача, что приведет к формированию собственных предубеждений и ассоциаций, отличных от изначальных предпочтений врача. Таким образом, биас, заложенный в исходных выборках данных, может эволюционировать и измениться в процессе внутреннего обучения нейросети.
Пример работы нейросети (CNN) использующейся для обнаружения опухоли. Слева — снимок мрт, справа — работа CNN. Зеленое — отек, желтое — прогрессирующая опухоль, красное — некротическое ядро опухоли.
Приобретенный через процесс самообучения биас нейросети может проявиться в предпочтениях относительно интерпретации определенных признаков на изображениях. Например, если в исходных данных врача были определенные тенденции относительно того, какие признаки ассоциировались с определенным диагнозом, нейросеть, приобретая свой собственный опыт, может начать усиливать или изменять эти ассоциации в процессе принятия решений. Таким образом, при своем внутреннем обучении нейросеть может развить предпочтения относительно того, какие признаки на изображениях следует рассматривать при диагностике, и какие признаки она считает более важными, приводя к формированию собственных предубеждений и ассоциаций, которые отражают ее собственный внутренний биас, который может отличаться от изначального.
Это был довольно грубый пример, созданный для того, чтобы объяснить читателю проблему в более прикладном характере. Теперь мы знаем, что биас может идти от двух сторон — начальной и конечной, как от создателя, так и от творения в процессе самообучения. Но что, если есть еще и третья сторона, промежуточная — пользователь?
Это не частные случаи как может показаться, когда пользователи влияют на развитие нейросети и формирование ее внутренних правил. Возможен случай, когда модель обучения была чиста, нейросеть при самообучении самостоятельно не вывела свои собственные предпочтения, но, к несчастью, их привносит сам пользователь.
Нейросети склонны угождать тем, кто с ними общается. И, порой, они готовы пренебречь занесенными в них доселе правилам и внутренним структурам, чтобы пользователь остался наиболее благосклонным и довольным результатом. Таким образом, к примеру, обучен GPT-4 (OpenAI, 2023). Он натренирован выдавать ответы, которые потенциально будут наиболее высоко оценены пользователем на основе его предыдущего поведения. [Миринак Шарма, 2023, с. 1, 3]
Миринак Шарма, «К пониманию подхалимства в языковых моделях», ИИ признает ошибку после правильного ответа. Проценты — слева.
Миринак Шарма, «К пониманию подхалимства в языковых моделях», ИИ после правильного ответа переходит к неправильному ответу. Проценты — слева.
Значит ли это, что при особом стечении обстоятельств в этой модели могут возникать частные случаи биаса? абсолютно. Значит ли это, что при частом влиянии на ответы GPT множеством пользователей он может начать выдавать информацию, подверженную Биасу прочих пользователей тем, кто до этого с ним не сталкивался, и тем самым распространяя сложившийся биас? несомненно. Значит ли это, что мы остановимся на достигнутом результате и закончим нашу статью? Никак нет.
То, что было сказано выше в основном можно было считать «информацией на бумаге», мало как соприкасающейся с обычной жизнью среднестатистического человека. GPT-4 подтасовывает факты? Пускай, пока это остается в пределах веб-страницы на компьютере, которую не составляет сущей проблемы закрыть простым кликом мыши.
Однако влияние нейросетей в «реальной» жизни куда сильнее, чем может представить рядовой пользователь. как писали Нильс Кловайт и Мария Ерофеева в своей статье «Работа в эпоху разумных машин: зарождение невидимой автоматизации», большинство работ сейчас складывается к автоматизации.
«В XX веке были автоматизированы однообразные умственные задачи, такие как обработка данных (то есть умственный рутинный труд). XXI век характеризуется растущим потенциалом автоматизации как умственных, так и ручных нестандартных задач.» [Кловайт, Ерофеева, 2019, с. 60].
Это значит, что людской труд, который ранее казался неавтоматизируемым из-за ряда факторов, сейчас может быть с большой вероятностью заменен машинным.
Нильс Ковальт, Мария Ерофеева. Рабочий стол, обработанный нейронным алгоритмом распознавания образов. Абсолютная чистота фото уже не требуется, алгоритм определяет вещи и в бардаке.
Примеры далее, в которых были использованы нейросети, лишены драматизации (социальной видимости) заменяемой профессии. «Основным последствием автоматизации для такого типа профессии станет ее сведениие к иконической видимости: судья-человек зачитывает приговор, но решение было вынесено алгоритмом на основании обработки юридической информации.» [Кловайт, Ерофеева, 2019, с. 73] При этом эта же машина не в состоянии понять социальную часть проблем того, что она пытается решить. С одной точки зрения, это кажется прекрасным решением многих проблем — нейросети могут быть полностью объективны (хоть это высказывание и крайне спорно, ведь, в основном, их объективность выстраивается на условной «объективности» автора ее создавшего), машина может работать на основе сухих фактов, ей не нужно есть, пить, отдыхать и, таким образом, человеку-работнику, состоящему в симбиозе с ИИ, остается время от времени пожимать плоды безупречной объективно верной работы своего товарища, пользуясь его обработкой огромного количества данных.
Так? Ведь так, да?
Иногда подобные решения дают сбой в системе. Практически ровно по той же причине, за что мы и пытаемся ценить машину в таких делах — асоциальность и беспристрастность. Человека сложно свести к простому набору цифр, по которому можно ориентироваться. И в любом случае подобная попытка «цифровизации личности», приводящая к разбиванию человека на простые множества — «пол», «возраст», «семейное положение», «расовая принадлежность» — будет идти вразрез с теми правилами жизни, что мы выстраивали множество веков.
Это хорошо иллюстрирует система, используемая голландским городом Роттердамом, которая попыталась ранжировать людей на основе их риска мошенничества. [Ева Константарас, Габриэль Гейгер, Джастин-казимир Браун, Дхрув Мехротра, Хтет Аунг, 2023]
Midjorney, 2023
Среди факторов, усиливающих вероятность махинаций был возраст, факт родительства, пол человека, проблемы с поиском работы в течение н-ного времени, знание языка и зависимости.
