- что вы рекламируете увидеть
- какие новости вам рекомендуют;
- какие результаты вы видите при поиске чего-либо в Интернете;
- какие сообщения из ваших контактов вы видите в своих социальных сетях сетей
- какие фильмы, сериалы или документальные фильмы вы видите на платформах видео по запросу
- …
- какие предложения работы вы получаете, чтобы увидеть
- поступление в университеты
- стоимость продукта и доступность
- если вы получите ссуду и под какую процентную ставку
- получите ли вы страховку для своего автомобиля и по какой цене
- залог и размер наказания в пробная версия
- …
- Исследование показывает, что женщинам с меньшей вероятностью будут показывать объявления о высокооплачиваемой работе в Google, в то время как высокооплачиваемая работа с большей вероятностью представлена меня n.
- Функция поиска в LinkedIn имеет тенденцию предлагать мужские имена при вводе женского имени, например, поиск Стефани Уильямс вызывает вопрос Вы имели в виду Стефана Уильямса, который не соответствует случается наоборот.
- Amazon избавляется от сексистского инструмента найма ИИ с моделью, которая якобы наказывала любое резюме, содержащее слово женщины.
- Apple card расследуется после жалоб на гендерную дискриминацию , а разработчик программного обеспечения утверждает, что он предлагал мужчинам кредит в 20 раз больше, чем женщинам с точно такими же характеристиками.
- Венгерский язык не имеет грамматического пола, поэтому Google Translate делает предположения , как мужчины строят , являются инженерами, счастливы и умны, а женщины моют посуду, медсестры, грустны и красивы.
- Существует программное обеспечение, используемое для прогнозирования будущих преступников, и оно предвзято против цветных, где чернокожие почти в два раза чаще, чем белые, будут названы группой повышенного риска, но на самом деле это не так. повторно оскорбить .
- Поисковые запросы в Google с участием людей с цветными именами с большей вероятностью будут показывать рекламу, указывающую на наличие судимости
- Twitter приносит свои извинения за «расистский алгоритм обрезки изображений », Который, как сообщается, обрезает изображение с фокусом на белых лицах вместо цветных.
- Этика: существует ряд явных этических соображений, которые должны препятствовать распространению предубеждений и, следовательно, дискриминации в обществе компаниями и обществом.
- Общественное мнение: вокруг этой темы ведется много споров, и доказанный случай, когда компания владеет или использует дискриминационную модель, может привести к очень плохой пропаганде (как можно видеть в примерах, перечисленных выше).
- Юридические последствия: в зависимости от страны существуют особые законы, решающие эту проблему, например GDPR, который заявляет, что следует предотвращать дискриминацию по признаку расы, пола, политических убеждений, здоровья ... и что запрещено использовать эти типы переменных в качестве исходных данных для моделей прогнозирования. Также существуют другие правила соблюдения нормативных требований, которые оказывают особое влияние на определенные отрасли, такие как банки или страхование, для предотвращения дискриминации по определенным личным конфиденциальным атрибутам.
- Разнообразие и осведомленность
- Убедитесь, что команда, создающая модель машинного обучения (или любое другое техническое решение), разнообразна: это должно помочь гарантировать, что решение учитывает различные слои населения.
- Понять потенциальную предвзятость в ваших данных и то, как используются переменные, связанные с человеческими характеристиками (например, пол, возраст, раса ...)
- Удаление переменных пола / расы /… обычно недостаточно: убедитесь, что они не могут быть предсказаны на основе других доступных переменных.
- Проанализируйте, насколько прогнозы и ошибки различаются между сегментов населения
- Рассмотрите возможность использования более простых (и более простых для объяснения и понимания) решений.
- Напишите свою собственную структуру на основе объяснительной модели комплексные решения: Shap, LIME, частичные зависимости…
- Существующие инструменты от поставщиков машинного обучения: AWS clear, IBM AI Fairness 360, Google What-If Tool, Microsoft Fairlearn…
- Рекомендации по содержанию: например как рекомендация более здоровой еды для женщин или фаст-фуда для групп с низким доходом.
- Различное отношение к курьерам (пассажирам) по полу или другим характеристикам.
- Модели мошенничества с учетом личных характеристик
- Каков предел между предвзятостью и персонализированными рекомендациями (например, могу ли я не рекомендовать более здоровую пищу женщине, если ее поведение подсказывает мне, что она любит здоровую пищу)?
- Каков эффект потери точности из-за удаления определенных объясняющих переменных, которые могут улучшить модель и прогнозы?
- Неужели предвзятые модели хуже реальных людей, принимающих решения со своими личными предубеждениями?
- Какие социальные возможности имеют компании с точки зрения исправления существующих предубеждений в обществе с помощью недискриминационных моделей?
Ссылки
[1] Ted talk Эли Паризера - Остерегайтесь онлайн-фильтров Пузырьки фильтров https://www.ted.com/talks/eli_pariser_beware_online_filter_bubbles/transcript?language=en
[2] «Методы уничтожения математики» Кэти О'Нил.
[3] Статья о базе данных инцидентов ИИ, где можно изучить реальные примеры плохого машинного обучения, такие как гендерные или расовые предубеждения, с целью помочь ИИ развиваться лучше, извлекая уроки из ошибок прошлого.
[4] Бесплатный онлайн-курс FastAI по практической этике данных, посвященный таким темам, как дезинформация, предвзятость и справедливость, конфиденциальность и наблюдение.
[5] Исследование обнаруживает предвзятость в отношении пола и типа кожи в коммерческих системах искусственного интеллекта, - Джой Буоламвини, исследователь из группы Civic Media в MIT Media Lab.
