Olá pessoal! Nesta edição do PET Redação, vamos entender um pouco sobre um problema cada vez mais relevante na área da computação: o viés algorítmico.
É comum pensarmos em computadores como aparatos de exatidão e racionalidade, porém é importante lembrar que nenhuma máquina “nasce” do nada. Todo sistema possui influência humana em sua construção e, caso não seja devidamente testado e avaliado, está propenso a falhas. Viés cognitivo, por definição, é “[…]um padrão de distorção de julgamento que ocorre em situações particulares, levando à distorção perceptiva, ao julgamento pouco acurado, à interpretação ilógica, ou ao que é amplamente chamado de irracionalidade” [1], e, no caso dos algoritmos, está relacionado a sistemas de inteligência artificial e aprendizagem de máquina.
Como surge o viés algorítmico?
A inteligência artificial é um campo amplo baseado na ideia de máquinas imitando funções cognitivas da inteligência humana. O aprendizado de máquina (machine learning) é um dos subcampos da IA, em que são usados algoritmos que analisam grandes volumes de dados e extraem conhecimento de maneira autônoma.
A análise se dá, resumidamente, da seguinte forma: imagine que você deseja treinar um computador para reconhecer quais livros são adequados para crianças, e para isso obteve um conjunto de dados formado por todos os livros de uma certa biblioteca. Cada livro tem certos atributos: gênero, autor, número de páginas, ano de lançamento, etc. De início, você deve informar ao sistema quais atributos definem se o livro é adequado ou não (o gênero literário, por exemplo, é relevante, mas o ano de lançamento não), e após suficientes testes e treinamentos, o computador deve ser capaz de identificar sozinho se um livro qualquer se encaixa nos requisitos.
A ideia parece clara, certo? Agora imagine o que aconteceria se esses livros tivessem sido classificados com atributos incorretos? Ou se a análise fosse dependente de um atributo mais subjetivo, como por exemplo se o livro é bom ou não? E se a biblioteca possuísse poucos livros e, portanto, pouca variedade de atributos? O que aconteceria quando o sistema encontrasse um livro totalmente diferente do que ele já viu?
Quando pensamos em sistemas de tomada de decisão baseados em IA, temos que considerar os dados usados para desenvolvê-los – se esses dados são incompletos, limitados, ou tendenciosos, o sistema resultante também será.
Quais as consequências de algoritmos tendenciosos?
Muitas vezes, algoritmos enviesados são simplesmente um reflexo das discrepâncias e discriminações do mundo real. Em meados de 2014 a Amazon tentou desenvolver uma IA para avaliar currículos de candidatos e agilizar o processo de seleção para vagas de desenvolvimento de software. O sistema foi desenvolvido usando currículos coletados pela empresa durante 10 anos, porém devido à predominância masculina na indústria, a maior parte dos currículos pertenciam à homens, resultando em um sistema que aprendeu a dar preferência a candidatos do gênero masculino, e chegou a penalizar candidatas graduadas em universidades exclusivamente femininas. A empresa afirma que a ferramenta nunca foi usada para avaliar candidatos, e que foi totalmente descartada em 2017. [2]
Outro exemplo de IAs amplificando desigualdades sociais está em um estudo[3] que investigou mais a fundo um algoritmo muito utilizado no setor de saúde dos Estados Unidos e descobriu que o sistema subestimava as necessidades de pacientes negros. De acordo com a análise, o algoritmo usava o custo dos tratamentos como um agravante para determinar as necessidades médicas. Por diversos motivos, desde questões financeiras até culturais, menos dinheiro era gasto com pacientes negros em condições igualmente graves as de pacientes brancos, o que fazia com que o sistema considerasse pacientes negros mais saudáveis e necessitando de menos cuidados médicos.
Os casos citados anteriormente não são os únicos. Seja no setor jurídico, com sistemas que tendem a considerar pessoas negras como mais perigosas [4], ou sistemas de reconhecimento facial que só funcionam corretamente em homens brancos [5], são inúmeros os casos registrados de viés algorítmico. Mas porque é tão difícil combatê-lo?
Porque é tão difícil impedir o viés algorítmico?
O combate ao viés algorítmico atualmente é dependente da tomada de iniciativa por parte da liderança das empresas desenvolvedoras de sistemas baseados em IA. Yael Eisenstat, ex-chefe do setor de Integridade Eleitoral Global do Facebook[6], relata que desenvolvedores não recebem nenhum treinamento quanto ao combate de vieses cognitivas. Utilizar suposições, pré-conceitos e padrões familiares para tomar decisões no dia a dia é normal e uma característica humana inerente, porém quando estamos tratando de questões técnicas, é necessário fazer o máximo para reconhecer e questionar esses fatores. Apesar de muitas empresas tech possuírem treinamentos de inclusão e diversidade, o problema está no desconhecimento sobre como combater o viés de maneira real e metódica, pois os desenvolvedores sequer compreendem o que são os vieses cognitivos e de que maneira se apresentam, fazendo com que qualquer tentativa de corrigir o viés algorítmico seja insatisfatória e rasa. Segundo Eisenstat, “Esses erros são cometidos ao tentar fazer a coisa certa. Mas eles demonstram porque incumbir engenheiros e cientistas de dados despreparados com a tarefa de corrigir o enviesamento é, ao nível mais amplo, ingênuo, e ao nível de liderança, insincero.”[7]
O uso exclusivo de dados para analisar uma situação por si só é produto do chamado viés de disponibilidade (availability bias), uma propensão que surge ao usar informações que estão mais facilmente disponíveis ao invés de informações que são realmente mais representativas, e muitas vezes ofusca a necessidade de avaliar criticamente as informações para garantir que estas não estão enviesadas. Essa análise crítica exige mais tempo e treinamento, o que vai contra a cultura de “move fast and break things”, estratégia que prioriza a ação em detrimento da análise, adotada por muitas empresas do ramo de tecnologia.
Além disso, o campo da Inteligência Artificial sofre de um problema de governança: a regulamentação do uso de IA é, no melhor dos casos, incompleta, e no pior, inexistente. Normas globais, políticas de uso e instituições para regular o uso e desenvolvimento de inteligências artificiais avançadas são escassas, o que é um fator negativo para os desenvolvedores de algoritmos de análise, uma vez que não possuem um código ou regulamento no qual basear seus sistemas, mas que também dificulta uma possível inspeção e correção de ferramentas de inteligência artificial. Sem um órgão para avaliar os métodos e resultados de análise de uma IA, não há nenhum controle legislativo sobre o viés algorítmico.
Conclusões
Em suma, o problema das IAs tendenciosas é complexo, porém cada vez mais urgente. Com o aumento na popularidade das inteligências artificiais, se torna cada vez mais importante corrigir o viés algorítmico, tanto de um ponto de vista social quanto prático, uma vez que a objetividade é um dos incentivos para se utilizar de um sistema computacional. É, portanto, essencial que haja uma mudança tanto no processo de desenvolvimento quanto de avaliação de ferramentas baseadas em IA, para impedir que o que deveria agilizar processos e solucionar impasses acabe por somente reproduzir e amplificar preconceitos e desigualdades.
Quanto às questões legislativas, estamos aos poucos observando um aumento na preocupação sobre a regulamentação do uso de IAs. Em junho de 2023 foi aprovado o E.U. AI Act [8], uma regulamentação do uso da inteligência artificial dentro da União Europeia, que objetiva proteger tanto investidores e desenvolvedores quanto usuários e clientes, e dentre as regras aprovadas está uma lista de requisitos legais referentes ao que foi classificado como aplicativos de alto risco, classificação que inclui sistemas de análise, como por exemplo uma ferramenta para digitalizar e classificar currículos. No Brasil, o PL nº 2338/2023 foi apresentado pelo Senador Rodrigo Pacheco, Presidente do Senado Federal, em maio de 2023, e se trata de um projeto de lei que dispõe sobre o uso da inteligência artificial. Atualmente, em novembro de 2023, o projeto está aguardando audiência pública.[9]
As inteligências artificiais são uma inovação que apresenta grande potencial para melhorar processos em diversas áreas, mas para isso é preciso garantir que seu uso seja benéfico para a sociedade. O combate ao viés algorítmico é uma medida necessária para que a tecnologia possa servir seu propósito: melhorar as condições de vida através da superação de limitações que, como é o caso dos vieses cognitivos, são essencialmente humanas.
Referências
[1] – Haselton, M. G., Nettle, D., & Andrews, P. W. (2005). The evolution of cognitive bias. In D. M. Buss (Ed.), The Handbook of Evolutionary Psychology: Hoboken, NJ, US: John Wiley & Sons Inc. pp. 724–746
[3] – https://www.science.org/doi/10.1126/science.aax2342#editor-abstract
[4] – https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[5] – https://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212
[6] – https://www.wired.com/story/the-real-reason-tech-struggles-with-algorithmic-bias/
[7] – “These are mistakes made while trying to do the right thing. But they demonstrate why tasking untrained engineers and data scientists with correcting bias is, at the broader level, naïve, and at a leadership level insincere.”
[9] – https://www25.senado.leg.br/web/atividade/materias/-/materia/157233
Autora: Isadora Fenner Spohr
