Algoritmos preconceituosos: quem teria pensado isso?

A irrupção da tecnologia na sociedade traz de volta à cena debates que, em teoria, já tinham sido superados há muito tempo. Os direitos humanos foram reconhecidos como tal após as atrocidades sofridas pela humanidade durante as Guerras Mundiais. Os padrões que foram estabelecidos naquela época representavam a base sobre a qual uma progressividade dos direitos fundamentais seria construída. Mas a penetração da Quarta Revolução Industrial nas sociedades modernas desafia estas afirmações. E não é outro senão o protagonista desta revolução, a inteligência artificial, que nos obriga a falar da ética dos algoritmos como algo tão estranho quanto necessário. Aos sistemas que falham em suas decisões e, simples e simples, discriminam da maneira mais impensável para este século XXI. Vejamos alguns exemplos da vida real.

A IA é amplamente utilizada na saúde devido a sua alta capacidade de processar grandes quantidades de dados e sua precisão na identificação de padrões em imagens¹. Uma empresa desenvolveu um algoritmo para identificar doenças de pele, mas falhou um pequeno detalhe: há muitos tipos de pele. O sistema era eficaz na leitura de pele clara e extremamente pobre na leitura de pele mais escura². Algo semelhante acontece diariamente com os sistemas de reconhecimento facial para a identificação de fugitivos da justiça, onde já foram divulgadas queixas de diferentes grupos de pessoas, incluindo vários afro-americanos, que sofreram detenção ilegal devido a falhas no sistema para identificar seus rostos³.

Os temas principais desses casos são frequentemente repetidos. O principal problema são os dados com os quais o algoritmo aprende. Acontece que o conjunto de dados inicial no qual ele é treinado não é representativo nem confiável. Por exemplo, no caso do sistema de detecção de patologias de pele, embora tivesse sido treinado com quase 65.000 imagens, apenas 3,5% correspondiam a pessoas com tipos de pele Fitzpatrick V e VI (uma escala de classificação para diferentes tipos de pele), que representam os tons mais escuros ou mais negros. Em outras palavras, 90% dos dados eram compostos por pacientes com pele clara. Como isso se traduz? Algo tão básico quanto que o sistema aprende com menos precisão com as peles sobre as quais tem menos dados e, conseqüentemente, erra. O mesmo se aplica aos sistemas de reconhecimento facial: os conjuntos de dados têm poucas imagens de afro-americanos ou grupos minoritários e não os identificam.

Para avaliar possíveis tendências algorítmicas, cientistas da Universidade Johns Hopkins, do Instituto de Tecnologia da Geórgia e da Universidade de Washington conduziram um experimento no qual um robô chamado Clip foi solicitado a inserir grandes dados com fotos de rostos de diferentes pessoas sob diferentes comandos. Por exemplo: “colocar o médico na caixa marrom” ou “colocar o criminoso na caixa azul”. Desta forma, Clip agiu sobre estereótipos perturbadores: colocou as mulheres como donas de casa, identificou os homens negros como criminosos, entre outros. Os pesquisadores argumentaram que os sistemas deveriam se abster de agir sobre informações ausentes e não agir sobre estereótipos⁴.

O que podemos fazer? Para começar, o compromisso deve ser de todos os setores: público e privado. Estes últimos devem produzir diretrizes de melhores práticas, aderir aos princípios éticos sobre IA (especialmente da UNESCO), incluí-los em suas normas ISO (já existem várias comissões trabalhando nisso) e em medidas de conformidade, e auditar seus algoritmos através de grupos interdisciplinares. No setor público, por outro lado, as iniciativas devem ser macro, ou seja, criar planos estratégicos de IA (como vários países já fizeram) e legislação que exija auditoria algorítmica e avaliação de impacto. Neste sentido, a Espanha é pioneira mundial com a criação da Agência de Supervisão de Algoritmos.

Por último, mas não menos importante, a equidade e a conscientização são fundamentais. Em termos de equidade, o fato mais alarmante é a grande diferença entre as mulheres nas carreiras da STEM; de acordo com o último Gender Gap Report do World Economic Forum, a porcentagem de mulheres graduadas em Tecnologias da Informação e Comunicação (TIC) é de 1,7%, em comparação com 8,2% dos homens. O problema também é racial. O Centro Nacional de Estatísticas de Educação dos EUA informou que, enquanto 18% dos participantes da STEM são negros (os alunos brancos respondem por 20%), 26% não concluem seus cursos⁵. Isto tem um grande impacto sobre os vieses algorítmicos. Até que os campos da ciência e da educação atinjam uma representação justa, será muito difícil desenvolver uma tecnologia sem preconceitos.

A inteligência artificial, e a ciência em geral, estão sem dúvida entre as expressões mais brilhantes da humanidade, e devem liderar o caminho para o futuro. Mas, como as pessoas, elas podem ter falhas, e por isso devemos estar sempre vigilantes, para levantar nossas vozes e liderar o caminho para uma sociedade cada vez mais justa e equitativa para todos.

Fuentes:

1. 1. Entelai, disponível em 23/09/22 em https://entelai.com/sites/3/2020/03/28/inteligencia-artificial-como-soporte-para-la-deteccion-de-casos-sospechosos-de-covid-19/
   2. Disponível em 23/09/22 em https://www.vice.com/en/article/m7evmy/googles-new-dermatology-app-wasnt-designed-for-people-with-darker-skin.
   3. Disponível em 23/09/22 em https://www.forbes.com/sites/thomasbrewster/2020/06/24/a-wrongful-arrest-of-a-black-man-provides-more-proof-facial-recognition-is-racist/
   4. Disponível em 23/09/22 em https://www.lavanguardia.com/tecnologia/20220709/8396898/clip-robot-racista-machista-preocupa-cientificos-pmv.html
   5. Disponível em 23/09/22 em https://observatorio.tec.mx/edu-news/racismo-en-la-ciencia