O julgamento da Ação Direta de Inconstitucionalidade 6.389, também conhecida como caso IBGE, pelo Supremo Tribunal Federal já se tornou um marco para a tutela da proteção de dados no Brasil. Para além do do reconhecimento da proteção de dados enquanto um direito fundamental autônomo, a fundamentação de parte dos votos abre espaço para uma outra discussão de talvez ainda maior importância: a releitura da cláusula do devido processo em meio a um cenário crescente de automatização de processos de tomadas de decisão que afetam as liberdades dos indivíduos, que já tem sido chamado devido processo informacional. O Ministro Gilmar Mendes, em seu voto afirma:
“É possível identificar como corolário da dimensão subjetiva do direito à proteção de dados pessoais, a preservação de verdadeiro “devido processo informacional” (informational due process privacy right), voltado a conferir ao indivíduo o direito de evitar exposições de seus dados sem possibilidades mínimas de controle, sobretudo em relação a práticas de tratamento de dados capazes de sujeitar o indivíduo a julgamentos preditivos e peremptórios.”
Nesse texto, iremos apresentar algumas discussões ligadas à regulação e imposição de salvaguardas em processos de tomada de decisão automatizados. O tópico de discriminação e vieses em algoritmos não é novo. Contudo, queremos chamar atenção para a (falta) de aderência da cláusula do devido processo, especialmente quando se trata de uma situação em que o poder público está avaliando seus cidadãos para a tomada de uma decisão a seu respeito.
Em primeiro lugar, é importante deixar claro sobre o que estamos falando. Diversas atividades de tratamento de dados buscam classificar-perfilhar (profiling) um indivíduo ou um grupo de indivíduos (grouping) de acordo com alguma finalidade. Um conhecido exemplo é a elaboração de scores de crédito, indicando o grau de risco que de determinada pessoa quitar ou não uma dívida.
Contudo, diversos outros exemplos podem ser encontrados. Recentemente, o sistema de avaliação de entregadores e motoristas de aplicativos de entrega, que pode levar aos trabalhadores serem bloqueados no aplicativo, vem sendo questionado.
Outro exemplo conhecido é o emprego de algoritmos de análise de risco em processos criminais, avaliando a chance de reincidência de um réu, servindo de base para juízes concederem ou não a liberdade condicional. Em um dos casos mais famosos, o COMPAS, investigações encontraram evidências que réus negros eram sistematicamente discriminados, recebendo avaliações que indicavam um risco maior de reincidência.
Além dos danos individuais advindos de processos discriminatórios, há de se ter também uma preocupação a respeito de como o uso de soluções guiadas pelo tratamento de dados, quando não abertas ao escrutínio público, podem intensificar a exclusão de grupos vulneráveis. A cidade de Boston decidiu lançar, em 2012, um aplicativo de celular que cidadãos utilizariam enquanto dirigem seus carros para detectar buracos e falhas no asfaltamento das ruas. A partir dessas informações, a prefeitura da cidade iria determinar os pontos prioritários para recapeamento das ruas. Contudo, a produção desses dados só era feita por cidadãos que possuíam algum smartphone, áreas mais pobres se tornaram invisíveis pela métrica adotada.
Como argumenta a autora Julie Cohen, a garantia do direito à privacidade (e porque não, também a proteção de dados), tem como propósito não a reclusão do indivíduo perante à sociedade, mas justamente o oposto, propiciando a capacidade de navegar por múltiplos ambientes sociais e culturais com liberdade para experimentar diferentes vivências sem que seja estigmatizado por isso.
“Além disso, a privacidade não protege apenas os indivíduos. A privacidade promove objetivos fundamentais de políticas públicas relacionadas à cidadania liberal democrática, à inovação e ao florescimento humano, e esses propósitos também devem ser levados em consideração na elaboração de políticas de privacidade.”[1]
Por consequência, com uma privacidade diminuída ou ameaçada a possibilidade de exercício de uma subjetividade crítica também é afetada. Isso também implica diretamente na possibilidade de concretização e manutenção de um sistema de democracia liberal, visto que nesse cenário os cidadãos terão cada vez menos a capacidade ou disposição de contestar práticas que consideram abusiva e buscar agendas de mudança[2].
Uma das alternativas a aplicação de sistemas totalmente automatizados é a inserção de humanos no processo de tomada de decisão (também conhecido como Human-in-the-loop). Contudo, essa solução, embora possa mitigar alguns dos problemas, também deve ser analisada com cuidado. Alguns autores argumentam que, mesmo quando uma decisão automatizada serve apenas como recomendação para a decisão final (a ser tomada por um humano), ela poderá ser o elemento decisivo, transformando a própria noção do que entendemos como processo de tomada de decisão. Isso porque, para desconsiderar uma recomendação o operador humano terá que usar argumentos que seriam aferíveis quantitativamente tanto quanto as previsões algorítmicas.
Nesse caso, todo espaço para alguma concepção pessoal de justiça ou mesmo de incerteza é eliminado em favor de uma mensuração preditiva avessa a riscos[3].
Portanto, alguns dos principais problemas encontrados com sistemas de tomada de decisão automatizada incluem: falta de transparência, dificuldade de identificação e correção de erros, dificuldade de contestar decisões e reforço de desigualdades já existentes.
No sistema democrático de direito (rule of law), decisões que afetam o interesse de uma pessoa (por exemplo, a revogação de uma assistência social) devem ser informadas previamente para que ela possa contestar a decisão, se defender, ou apresentar informações adicionais que podem resultar na reversão da decisão. Como colocam os autores Danielle Citron e Frank Pasquale:
“Novos tomadores de decisão algorítmicos são soberanos sobre aspectos importantes da vida individual. Se a lei e o devido processo estão ausentes nesse campo, estamos essencialmente abrindo caminho para uma nova ordem feudal de intermediários reputacionais que não são chamados a prestar contas.”[4]
É exatamente para evitar o crescimento da assimetria informacional e colocar em xeque relações de poder que o devido processo informacional se mostra como uma garantia cada vez mais necessária. Aliás, a própria autonomia do direito à proteção de dados pessoais frente ao direito à privacidade está enraizada nessa racionalidade de devido processo. Essa foi afirmação pioneira do advogado Arthur Miller durante o processo de elaboração das chamadas fair information practice principles no Departamento de Estado e bem estar social dos Estados Unidos da América:
“Existe uma certa combinação entre temas de privacidade e os demais temas constitucionais. Minha visão pessoal é que provavelmente um dos maiores bastiões constitucionais da privacidade ainda não explorado pelas cortes ou pelos defensores ativistas é o conceito de devido processo legal, a noção de que governos não podem privá-lo de sua vida, liberdade, propriedade, sem o devido processo legal, uma restrição que recai tanto sobre o governo nacional quanto, claro, sobre os estados e governos locais. Me parece que está por ser escrito o capítulo sobre devido processo informacional. E certos tipos de levantamentos, usos e disseminação de informação governamental podem ser desafiados quando violarem o devido processo (…) E é também interessante notar que o direito original à privacidade, concebido por Warren e Brandeis, em seu doutrinário e significante artigo em 1890, era simplesmente o direito que um indivíduo teria contra a mídia de massa. Não foi concebido para ser um direito geral. Não foi concebido para ser um direito individual contra o Estado. Era simplesmente, como colocou Brandeis, o direito de ser deixado a sós pela grande mídia.”[5]
Assim, o devido processo legal, para além de sua dimensão de ser um instrumento de garantias processuais em sede judicial (servindo de base para princípios como do juiz natural, inafastabilidade da jurisdição e todas demais garantias previstas pelo sistema processual), deve também ser entendido como uma ferramenta de assegurar a simetria e proporcionalidade de uma forma mais ampla. Tanto as relações indivíduo-estado, quanto as relações privadas em que há uma assimetria de poder devem ser permeadas pela garantia do devido processo, evitando que ações arbitrárias e intrusivas sejam tomadas sem que o sujeito tenha a capacidade de se defender.
Essa capacidade vem sendo ameaçada com a adoção de sistemas de tomada de decisão automatizada, que, seja por razões técnicas (dificuldade de auditar uma decisão algorítmica que emprega técnicas de machine-learning, por exemplo), seja por razões jurídicas (proteção do segredo comercial ou industrial), levam a decisões que são determinantes para a vida do sujeito, sem que este possa ao menos saber os fatores que levaram àquela decisão, sendo mais difícil ainda uma eventual contestação do resultado.
A Lei Geral de Proteção de Dados (Lei 13.709) inaugura esse regime com o direito de revisão de decisões automatizadas, previsto em seu art. 20, caput. Além disso, o art. 20 §1º vem sendo entendido por alguns autores como uma garantia de direito à explicação[6]. Ambas são importantes salvaguardas que permitem uma permeabilidade do Direito nos processos algoritmos. Contudo, mais mecanismos de transparência, auditoria e especialmente quando se tratar de decisões tomadas pelo Estado, devem continuar a ser elaborados.
Para além da imposição de obrigações legais sob atividades de tratamento de dados, a participação pública e popular na elaboração de soluções digitais e tecnológicas pode também ser um caminho ainda mais proveitoso. Um dos melhores exemplos a serem citados é o da cidade de Barcelona, que sob a coordenação da pesquisadora Francesca Bria iniciou o “Programa de digitalização aberto e ágil da Prefeitura de Barcelona [Barcelona City Council’s Open and Agile Digitalisation Programme].”
A partir de software livre; código, padrões, formatos abertos os cidadãos poderão colaborar na elaboração de políticas públicas e o uso de blockchain para registro do que o Estado faz com os dados pessoais dos cidadãos, há uma espécie de contravigilância cujo objetivo é redução da assimetria de informação e, sobretudo, de co-deliberação na formatação desses circuitos decisórios automatizados.
Iniciativas como essa demonstram que é possível conjugar avanços tecnológicos e digitalização de serviços à observância direitos fundamentais, sem recair nas armadilhas dos exemplos citados no texto. A garantia do devido processo lhes dá densidade jurídica, garantindo uma espécie de contraditório e ampla defesa a ser exercido de forma coletiva em contraponto à ação em tempo real e opaca dos algoritmos.
[1] COHEN, Julie. What is Privacy For. Harvard Law Review, vol. 126, 2013, p. 19-20.
[2] COHEN, Julie. What is Privacy For. Harvard Law Review, vol. 126, 2013.
[3] ROUVROY, Antoinette. The end(s) of critique: data behaviourism versus due process. In: HILDEBRANDT, Mireille; DE VRIES, Katja (eds.). Privacy, Due Process and the Computational Turn: the philosophy of law meets the philosophy of technology. New York: Routledge, pp. 143-167, 2013.
[4] CITRON, Danielle, PASQUALE, Frank. The Scored Society: Due Process for Automated Predictions. Washington Law Review, Vol. 89, 2014, p. 19.
[5] MILLER, Arthur. Transcription of the 1st Meeting Part I of the Secretary’s Advisory Committee on Automated Personal Data Systems of the U.S. Department of Health, Education and Welfare, p. 267. [Destaques não constam no original].
[6] MONTEIRO, Renato Leite. Existe um direito à explicação na Lei Geral de Proteção de Dados Pessoais?, Instituto Igarapé, Artigo Estratégico nº 39, Dezembro de 2018.
Texto por Bruno Bioni e Pedro Martins