O Diversionismo Sedutor de “Resolver” os Vieses na Inteligência Artificial

As tentativas de “consertar” a I.A. nos distraem das questões mais urgentes sobre a tecnologia.

Texto original de Julia Powles e Helen Nissenbaum¹.
Traduzido por Pedro Martins².

A ascensão da Apple, Amazon, Alphabet, Microsoft e Facebook como as empresas mais valiosas do mundo veio acompanhada de duas narrativas conectadas sobre a tecnologia. Uma é sobre a inteligência artificial – a promessa dourada e principal produto de venda dessas empresas. A I.A. é apresentada como uma potente, pervasiva e imparável força para resolver os nossos maiores problemas, embora se trate, essencialmente, de uma tecnologia voltada a encontrar padrões em grandes quantidades de dados. A segunda narrativa é que a I.A. tem um problema: vieses.

As histórias de vieses e preconceitos são inúmeras: anúncios online que mostram aos homens empregos com melhor remuneração; serviços de entrega que evitam bairros pobres; sistemas de reconhecimento facial que falham em pessoas negras; ferramentas de recrutamento que filtram as mulheres de maneira invisível. Uma problemática presunção envolve esses relatos: Por meio da quantificação, é claro que vemos o mundo em que já habitamos. Contudo, a cada vez, há um senso de choque e espanto e um descolamento das comunidades afetadas na descoberta de sistemas movidos por dados sobre nosso mundo que replicam e amplificam desigualdades raciais, de gênero e de classe.

Pensadores sérios na academia e empresas foram em enxame para o problema de vieses em I.A, ansiosos para promover ajustes e melhorar os dados e algoritmos que conduzem a inteligência artificial. Eles se apegaram ao conceito de fairness³ como o objetivo, obcecados por construções concorrentes do termo que podem ser reproduzidas de forma mensurável e matemática. Se a busca por uma ciência de justiça computacional [computational fairness] fosse restrita aos engenheiros, seria uma coisa. Mas dada a nossa contemporânea exaltação e deferência aos tecnólogos, isso limitou toda a imaginação da ética, do Direito e da mídia também.

Existem três problemas com esse foco nos vieses de I.A. O primeiro é que endereçar vieses como um problema computacional obscurece as raízes de suas causas. Vieses e preconceitos são um problema social, e buscar resolvê-los dentro da lógica da automação será sempre inadequado.

Em segundo lugar, mesmo aparentes sucessos em lidar com vieses podem ter consequências perversas. Veja o exemplo de sistemas de reconhecimento facial que funcionam mal em mulheres negras por causa da sub-representação do grupo, tanto nos dados de treinamento quanto na equipe de designers de sistema. Aliviar esse problema ao buscar “igualar” a representação apenas coopta os designers no aperfeiçoamento de vastos instrumentos de vigilância e classificação.

Quando questões sistêmicas subjacentes permanecem fundamentalmente intocadas, os combatentes dos vieses e preconceitos simplesmente tornam os humanos mais legíveis por máquinas, expondo as minorias em particular a danos adicionais.

Em terceiro lugar – e talvez a mais urgente e perigosa de todas – é a maneira pela qual a sedutora controvérsia de vieses e preconceitos em I.A., e o falso fascínio de “resolvê-los”, diminuem a atenção de questões maiores e mais urgentes. Vieses são reais, mas são também um cativante diversionismo.

O que tem sido notavelmente subestimado é a interdependência chave entre as narrativas da inevitabilidade da I.A. e os vieses de I.A. Contra a projeção corporativa de um horizonte ensolarado de integração imparável da I.A., reconhecer os vieses pode ser vistos como uma concessão estratégica – uma que subjuga a escala do desafio. Vieses, como a perda de emprego e riscos à segurança, tornam-se parte da grande barganha da inovação.

A realidade de que vieses e preconceitos são primeiramente um problema social e não podem ser totalmente resolvidos tecnicamente torna-se uma força, ao invés de uma fraqueza, para a narrativa da inevitabilidade. Isso inverte o script. Ele absorve e regulariza as práticas de classificação e os sistemas subjacentes de desigualdade perpetrados pela automação permitindo que relativos ganhos em fairness sejam reivindicados como vitórias – mesmo que tudo o que tenha sido feito seja “fatiar e picar” e redistribuir a composição daqueles afetados negativamente pela decisão atuarial.

Em suma, a preocupação com quebra-cabeças computacionais estreitos nos distrai de uma questão muito mais importante, de assimetria colossal, entre os custos sociais e os ganhos privados na esteira da implantação de sistemas automatizados. Isso também nos nega a possibilidade de perguntar: Nós deveríamos, afinal, estar construindo esses sistemas?

Ao aceitar as narrativas existentes sobre I.A., vastas zonas de contestação e imaginação são abandonadas. O que é alcançado é a resignação – a normalização de captura massiva de dados, a transferência unilateral para as empresas de tecnologia, e a aplicação de soluções automatizadas e preditivas para todo e qualquer problema social.

Dado esse contexto político e econômico mais amplo, não deve nos surpreender que muitas vozes proeminentes soando o alarme dos vieses o fazem com a benção e apoio de empresas como Facebook, Microsoft, Alphabet, Amazon e Apple. Esses críticos convenientes colocam no holofote perguntas importantes, mas eles também sugam a atenção de desafios de longo prazo. O objetivo final é sempre “consertar” sistemas de I.A., nunca usar um sistema diferente ou sistema nenhum.

Uma vez que nós reconhecermos a natureza inerentemente comprometida do debate de I.A., oportunidades são reveladas que merecem contínua atenção política e social. A primeira deve ser a distribuição indiscriminada de dados sociais que sustentam o desenvolvimentos de sistemas de I.A. Nós estamos muito atrasados para uma reavaliação radical sobre quem controla o vasto tesouro de dados atualmente bloqueado pelos detentores da tecnologia. Nossos governantes e comunidades devem agir decisivamente para desincentivar e desvalorizar o acúmulo de dados com políticas criativas, incluindo banimentos cuidadosamente definidos, taxas, compartilhamento obrigatório de dados e políticas de benefício comunitário, todos respaldados pela mão firme da lei. Políticas de dados mais inteligentes iriam reenergizar a competição e inovação, ambas inquestionavelmente desaceleradas com o poder de mercado concentrado das gigantes de tecnologia. As maiores oportunidades fluirão para aqueles que agirem com mais ousadia.

A segunda grande oportunidade é de se debater com questões existenciais fundamentais e construir robustos processos para resolvê-las. Quais sistemas realmente merecem ser construídos? Quais problemas mais precisam ser enfrentados? Quem está melhor colocado para construí-los? E quem decide? Nós precisamos de mecanismos de responsabilização e prestação de contas genuínos, externos às empresas e acessíveis à  populações. Qualquer sistema de I.A. que é integrado à vida das pessoas deve ser capaz de contestar, prestar contas e reparar os cidadãos e os representantes do interesse público. E deve haver sempre a possibilidade de parar o uso de sistemas automatizados com custos sociais quantificáveis, assim como acontece com qualquer outro tipo de tecnologia.

A inteligência artificial evoca uma onipotência objetiva mística, mas é apoiada por forças reais de dinheiro, poder e dados. A serviço dessas forças, nós estamos desenvolvendo histórias poderosas que levam a uma dependência generalizada de sistemas de classificação regressivos que alista a todos nós em um experimento social sem precedentes do qual é difícil de retornar. Agora, mais do que nunca, nós precisamos de uma resposta imaginativa, robusta e ousada.

¹ O artigo original pode ser encontrado no link: https://onezero.medium.com/the-seductive-diversion-of-solving-bias-in-artificial-intelligence-890df5e5ef53
²  Pedro Martins é bacharel e mestrando em Direito pela Universidade Federal de Minas Gerais, pesquisador na área de proteção de dados e tomada de decisão automatizada e analista acadêmico do Data Privacy Brasil.
³  N.T. A utilização do termo fairness foi mantida em algumas ocasiões por ser um conceito mais amplo do que o de justiça, que seria o equivalente em língua portuguesa.
*Ilustração por Gary Zamchick.