Как гендерные стереотипы закладываются в приложения для телефонов и алгоритмы? / Гендерные Перспективы

Как гендерные стереотипы закладываются в приложения для телефонов и алгоритмы?

Мобильный ассистент с женским голосом, программы распознавания лиц, отдающие «предпочтение» мужчинам, электронная система найма на работу, которая дискриминирует женщин. Гендерных предрассудков не удалось избежать и в бурно развивающейся сфере технологий и искусственного интеллекта.


Эта проблема обсуждалась и на недавней Комиссии по положению женщин в ООН. Как гендерные стереотипы «внедряются» в алгоритмы и мобильные приложения - в интервью с с программным специалистом Сектора социальных и гуманитарных наук ЮНЕСКО Максимом Карлюком.

- Существует так называемый закон Конвея. Он говорит о том, что системы в самом широком смысле этого слова, в том числе компьютерные программы или приложения для телефона, отражают ценности людей, которые их разрабатывают. То есть выбор действий или элементов в рамках процесса разработки программ зависит от того, как организованы проектирующие команды.

Существующие предрассудки и другие негативные влияния часто игнорируются. И в результате небольшая группа людей, работающих вместе над какой-то программой, в итоге получает большое влияние, когда результат их работы используется обществом. Это доказанный эффект, он существует. То есть это транслируется в программы и последствия их использования. Мы все в той или иной степени подвержены предрассудкам, более того, на сегодняшний день большинство разработчиков – это мужчины, со свойственными им предрассудками и вкусами, и это передается и на уровень программ.

Большинство разработчиков – это мужчины, со свойственными им предрассудками и вкусами, и это передается и на уровень программ

Максим Карлюк

Таким образом гендерные стереотипы часто находят свой путь в технологические продукты. И вот довольно известный пример: изначально помощники на телефонах все имели только женские имена, женские голоса, и их так называемая «личность» была сконструирована в формате подчинения. Мы в ЮНЕСКО выпустили доклад на эту тему, который назывался “I`d blush if I could”, по-русски – «Я бы покраснела, если бы могла». Это название – это ответ, который дала Сири, один из известных голосовых ассистентов, на неприличный комментарий в ее сторону. И этот ответ был изменен только через 8 лет. То есть 8 лет это считалось нормальным или, если и не считалось нормальным, то использовалось.

То есть это зависит от формирования команд, которые разрабатывают программы и далее. Неравная представленность женщин среди разработчиков и в целом в технологических компаниях имеет большое влияние на это. Более того, я бы сказал, что это ухудшается в связи с пандемией COVID-19, потому что в сфере технологий женщины с большей долей вероятности будут уволены, так как в большинстве случаев они занимают невысокие позиции в компаниях, которые проще сократить. К тому же, в полтора раза более вероятно, что на женщину приходятся обязанности по уходу за детьми во время ограничений, связанных с пандемией.

Ну и есть более широкие проблемы – такие, как доступ к интернету. Примерно 45 процентов женщин в мире имеют доступ к интернету, и больше половины мужчин. А в сельской местности разница еще больше. И это влияет и на образование. Сейчас во многих странах дистанционное образование, и у девочек, соответственно, меньше образовательных возможностей во время пандемии. Эта проблема и раньше существовала, а с началом пандемии она усугубилась.

Также наблюдается большая разница между странами и регионами.

- Вы привели в пример телефонных голосовых помощников. Но иногда гендерные предрассудки и стереотипы закладываются непосредственно в алгоритмы и в системы обучения машин. Расскажите, пожалуйста, об этом.

 - Да, тот же закон, о котором я рассказал, он имеет большое значение для систем искусственного интеллекта из-за эффекта масштабирования и из-за того, каким образом они функционируют. Они функционируют на основе наборов данных, алгоритмы обучаются на основе наборов данных. И тут есть два момента.

Первый момент: когда узкая группа людей разрабатывает алгоритм, она передает ему свое видение, свои ценности и стереотипы, и на их основе он обучается, и это таким образом масштабируется. А женщины недостаточно представлены конкретно в сфере искусственного интеллекта. Только 22 процента профессионалов в этой области по всему миру – женщины. Исследователей-женщин еще меньше в этой сфере. То же самое касается их представленности на ведущих конференциях.

Второй момент – это данные. Данные, на основе которых эти системы работают, обучаются и развиваются. Они могут быть неполные. Во-вторых, в таких наборах данных часто представлены гендерные стереотипы, на этот счет проводились исследования. И в итоге получаются предвзятые результаты от использования этих алгоритмов. Есть несколько примеров, которые я хотел бы привести. В частности, в Массачусетском институте технологий провели исследование совместно с компаний Microsoft, которое говорит о том, что самые известные системы распознавания лиц чаще ошибаются при распознавании фотографий женщин. И количество ошибок увеличивается, если это женщина с более темным цветом кожи.

А компания Amazon применила у себя в работе систему искусственного интеллекта, на основе которой они нанимали сотрудников. Но им пришлось остановить этот эксперимент уже в 2018 году, потому что они увидели, что этот алгоритм дискриминирует женщин.

Алгоритм этому обучился, и поэтому он дискриминировал женщин. Преимущество в большинстве случаев отдавалось мужчинам.

Максим Карлюк

Как выяснилось, этот алгоритм обучался на основе резюме, которые подавались в последние 10 лет, а большинство резюме были мужскими, поскольку, как я уже говорил, в основном мужчины работают в сфере технологий и искусственного интеллекта. И алгоритм этому обучился, и поэтому он дискриминировал женщин. Преимущество в большинстве случаев отдавалось мужчинам. Но я хотел бы отметить, что женщины не стоят в стороне. Среди них есть очень много прекрасных специалистов и инициатив, ими созданных, которые пытаются изменить эту ситуацию. И их становится все больше и больше, что очень радует.

 - Вы говорите, что женщины не стоят в стороне, но все-таки они пока еще недостаточно хорошо представлены в этой сфере. Какие решения проблемы гендерной дискриминации в сфере технологий предлагают в ЮНЕСКО?

- Да, в ЮНЕСКО занимаются этими проблемами. У ЮНЕСКО сейчас есть мандат от государств-членов по разработке первого глобального нормативного документа, это Рекомендации об этических аспектах искусственного интеллекта. Поскольку гендерное равенство является одним из двух глобальных приоритетов ЮНЕСКО в целом, не только в этой сфере, эта тема занимает важнейшее место и в проекте рекомендаций.

Среди прочего мы призываем государства включить в национальные стратегии цифрового развития специальные планы действий по достижению гендерного равенства, поощрять женское предпринимательство, поощрять участие женщин во всех этапах жизненного цикла систем искусственного интеллекта.

В рекомендациях также предусмотрено создание инструмента оценки этического воздействия систем искусственного интеллекта, в рамках которого необходимо использовать сквозной гендерный подход и обеспечить использование систем искусственного интеллекта, продвигая права всех, включая девочек и женщин, в том числе – в образовании и в других сферах.

Я бы хотел еще добавить, что в ЮНЕСКО процессом разработки рекомендаций руководят женщины, причем на разных уровнях. На самом высоком уровне – это Генеральный директор ЮНЕСКО Одрэ Азуле, глава Сектора социальных и гуманитарных наук Габриэла Рамос и моя непосредственная начальница Дафна Фейнхольц, которая руководит Секцией биоэтики и этики науки и технологий. Так что этому уделяется много внимания.

Неравенство между мужчинами и женщинам в цифровой мире усугубилось в связи с пандемией, поэтому мы должны действовать еще активнее. На сегодняшний день существует много инициатив и принципов, предлагаемых разными организациями, но теперь нам необходимо претворить их в жизнь, и это то, чего мы пытаемся достигнуть в рамках этих рекомендаций.

Мы пошли дальше ценностей и принципов и предлагаем конкретные действия, инструменты по продвижению этической разработки и использования искусственного интеллекта, с помощью которых технологические решения помогут создать более инклюзивный мир для всех и, в частности, для женщин.

news.un.org

К списку