Sexismo algorítmico e o caso Amazon*

Embora a tecnologia tenha o potencial de otimizar os processos, ela também pode incorporar práticas discriminatórias, resultando em viés algoritmo que afeta especificamente o gênero feminino. A Amazon foi um caso onde um algoritmo desenvolvido para automatizar o recrutamento demonstrou viés significativo contra candidatas do sexo feminino. Essas práticas impactam as oportunidades das mulheres no mercado de trabalho, podendo levar a sub-representação em cargos de liderança e em áreas tradicionalmente dominadas por homens, ressaltando a necessidade de práticas éticas e inclusivas na implementação e manutenção das tecnologias digitais.

Imagem: Wix

Em 2014, a Amazon adotou um algoritmo desenvolvido para revisar currículos, com base nos dados de documentos recebidos ao longo de 10 anos, como informa a agência Reuters (JEFFREY DASTIN, 2018), para a automação na seleção e recrutamento de novos funcionários, o objetivo era criar um sistema que analisasse currículos e pontuasse os candidatos de 1 a 5 estrelas, para ajudar os recrutadores a identificar os melhores talentos. Como a maioria dos currículos recebidos ao longo desse tempo, eram majoritariamente do gênero masculino, o algoritmo aprendeu associar características masculinas a candidatos mais qualificados.

Porém, em 2015, a empresa percebeu que o sistema estava exibindo um comportamento discriminatório contra mulheres, refletindo o desequilíbrio de gênero na indústria de tecnologia. Como consequência, o algoritmo aprendeu a penalizar currículos que continham a palavra “mulher” e a dar notas mais baixas para as candidatas, chegando a rebaixar formandas de instituições exclusivas para o público feminino, assim como detalha Dastin (2018).

Mesmo com os ajustes no sistema para se tornar neutro em relação ao gênero, ficou claro que a tecnologia não era confiável para essa tarefa. Então em 2017, a empresa decidiu descartar definitivamente o projeto de IA para recrutamento, limitando-se a declarar que o projeto foi encerrado ao perceberem falhas, afirmando também que a tecnologia nunca foi a única ferramenta de recomendação utilizada por seus recrutadores na avaliação, conforme divulgado pela Reuters (JEFFREY DASTIN, 2018).

O caso Amazon também foi noticiado pela Forbes, o qual relata que o sistema da Amazon aprendeu a preferir candidatos do sexo masculino e penalizar currículos que mencionavam a palavra “mulheres”, como em “capitã do clube de xadrez de mulheres”, embora tenha havido a tentativa de ajuste para torná-lo neutro em relação aos termos de gênero, não houve tanto sucesso, isso porque o sistema encontrou novas formas discriminatórias de classificar os candidatos (RAFAEL MARTINS, 2018).

Igualmente, o portal de notícias Gizmodo, noticiou que outro problema destacado foi a tendência a favorecer uma linguagem frequentemente utilizada por candidatos homens, termos e expressões comuns como a menção à proficiência, como verbos “executar e “capturar” ganhavam mais peso, (RHETT JONES, 2018). O mesmo foi divulgado pela página de notícias TecMundo, o qual destaca que apesar dos esforços para implementar um filtro para ajustar o algoritmo, ficou claro que ele ainda apresentou falhas pontuais, refletindo a predominância de dados invejados em seu treinamento (FELIPE AUTRAN, 2018).

Outra situação semelhante é discutida em “Coded Bias”, documentário da Netflix (2020), que explora as falhas, discriminações e preconceitos presentes nos algoritmos de inteligência artificial especialmente no reconhecimento facial. Através da pesquisa de Buolamwin, do MIT Media Lab, revela como esses sistemas podem perpetuar discriminações raciais e de gênero, devido à falta de diversidade na alimentação dos dados.

Em um estudo conduzido por pesquisadores da Carnegie Mellon University (CMU, BYRON SPICE, 2015), revelou que o algoritmo do Google para anúncios de emprego tendia a direcionar anúncios de vagas predominantemente para homens. Utilizando uma ferramenta chamada AdFisher, para simular perfis de usuário, descobriram que os anúncios relacionados a empregos de alto salário eram exibidos em cerca de 1.500 vezes a mais para perfis masculinos do que para feminino.

De acordo com Barros (2024), o algoritmo em viés em recomendações do Linkedin também foi criticado por favorecer conexões e oportunidades que reforçavam redes masculinas, contribuindo para a desigualdade de gênero em determinadas indústrias, ocorrendo menos acesso a oportunidades relevantes para mulheres.

Esses casos ilustram uma necessidade de uma abordagem ética na implementação dessas tecnologias, garantindo que não perpetuem desigualdades existentes, pois a máquina executa apenas as instruções que lhes são dadas. E quando há uma alimentação baseada em exemplos, se esses exemplos contêm preconceitos, como sexismo, os resultados refletem essa parcialidade em suas análises e decisões.

Considerando que o viés algorítmico não se limita ao gênero, podendo se manifestar em outras formas de discriminação como o racismo. A predominância masculina compondo as equipes que desenvolve tecnologias de IA, também contribui para uma falta de diversidade que pode resultar em algoritmos que marginalizam grupos minoritários.

À medida que mais empresas adotam soluções automatizadas para recrutamento e seleção, é importante que aprendam com esses exemplos para criar ambientes mais justos e inclusivos.

________

Nota editorial:

*O texto é uma síntese do Trabalho de Conclusão de Curso da autora, sob orientação do prof. Hebert Vieira Durães, no curso de Administração da Universidade do Estado da Bahia - UNEB.

REFERÊNCIAS

AUTRAN, Felipe. IA da Amazon usou em análise de currículos discriminava mulheres. TecMundo, 2018. Disponível em: https://www.tecmundo.com.br/software/135062-ia-amazon-usada-analise-curriculos-discriminava-mulheres.htm . Acesso em: 12 dez. 2024.  

BARROS, A. Desafios éticos na utilização de algoritmo de recrutamento e seleção do LinkedIn e seu impacto na equidade de oportunidades de emprego. Revista Tópicos, v. 2, n. 7, 2024.  

CODED Bias. Shalini Kantayya. Netflix, 2020.

DASTIN, Jeffrey. Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, 2018. Disponível em: https://www.reuters.com/article/idUSKCN1MK0AG/. Acesso em: 14 nov. 2024.

JONES, Rhett. A Ferramenta de IA da Amazon discriminava candidatas mulheres. Gizmodo, 2024. Disponível em: https://gizmodo.uol.com.br/ferramenta-ia-amazon-candidatas-mulheres/ . Acesso em: 12 dez. 2024. 

MARTINS, Rafael. Amazon desiste de ferramenta secreta de recrutamento. Forbes, 2018. Disponível em: https://forbes.com.br/negocios/2018/10/amazon-desiste-de-ferramenta-secreta-de-recrutamento/ . Acesso em: 12 dez. 2024.

SPICE, Byron. Fewer Women Than Men Are Shown Online Ads Related to High-Paying Jobs. Carnegie Mellon University, 2015. Disponível em: https://csd.cmu.edu/news/fewer-women-than-men-are-shown-online-ads-related-to-highpaying-jobs. Acesso em: 15 nov. 2024.