Por Helena Santos Leitão

Uma distopia discreta, administrativa, quase banal, que se instala quando a tecnologia começa a observar-nos sem aviso, a interpretar expressões, a atribuir estados emocionais e a transformar comportamentos comuns em potenciais sinais de risco. Foi precisamente essa inquietação que surgiu no verão de 2024, quando se soube que a Network Rail, responsável pela infraestrutura ferroviária britânica, testava há cerca de dois anos, em estações da região metropolitana de Londres, um sistema de vigilância apoiado em inteligência artificial.

Câmaras instaladas em pontos estratégicos captavam rostos de passageiros e enviavam as imagens para uma ferramenta de análise automatizada, a Amazon Rekognition, que analisaria essas imagens, identificando emoções como raiva, tristeza e alegria e adicionalmente adquiria dados como o sexo e a idade dos passageiros.

A empresa justificou o programa com os objetivos de melhorar a experiência dos passageiros; reforçar a segurança de pessoas e infraestruturas; e até gerar novas receitas publicitárias, por conhecer melhor a demografia e o estado emocional de quem circulava pelas estações. Garantiu ainda cumprir o Regulamento Geral de Proteção de Dados (RGPD) e trabalhar de perto com as autoridades competentes*.

Mas esta denúncia da Big Brother Watch deslocou o debate para o ponto essencial: pode um organismo público observar, classificar e interpretar emocionalmente os cidadãos sem informar esses cidadãos? E, ao fazê-lo num espaço tão dinâmico e emocionalmente ruidoso, como uma estação ferroviária, qual a sua fiabilidade? É aqui que o problema deixa de ser tecnológico e passa a ser político, jurídico e ético.

Uma câmara que identifica uma pessoa já levanta questões. Uma câmara que tenta adivinhar o que essa pessoa sente, e eventualmente o risco que representa, abre uma porta mais inquietante: a transformação do cidadão em suspeito probabilístico.

Muito antes da inteligência artificial se tornar infraestrutura quotidiana, Philip K. Dick condensou este dilema no conto The Minority Report (Relatório Minoritário), publicado em 1956 e mais tarde popularizado num filme realizado por Steven Spielberg e protagonizado por Tom Cruise.

Na unidade Pré-Crime não se espera que o crime aconteça: o delito é antecipado. A eficácia aparente do sistema é apenas uma parte do problema. A questão decisiva é a inversão que ele produz, pois o cidadão deixa de responder pelo que fez e passa a responder pelo que uma “autoridade” afirma que poderá vir a fazer.

O próprio “relatório minoritário” expõe a falha do modelo. Há sempre margem para erro, contexto, escolha e futuros alternativos. Essa fissura é também a fissura do presente: até onde pode uma sociedade democrática ir em nome da prevenção sem corroer a presunção de inocência?

Coloca-se, então, o seguinte dilema moral: concordaríamos com a utilização de sistemas de inteligência artificial para identificar ou inferir o nosso estado emocional e, a partir daí, avaliar o risco de infração?

Sim, se isso permitir prevenir atividades ilícitas graves, como o terrorismo.

ou

Não, se tal representar uma ameaça desproporcionada à dignidade, à privacidade e aos direitos fundamentais das pessoas.

O AI Act, ou Lei da União Europeia sobre a Inteligência Artificial, aborda, também, as questões fundamentais expostas por estes sistemas. Esta regulamentação é a primeira Lei abrangente do mundo sobre inteligência artificial.

A sua história formal começa em abril de 2021 e culmina em julho de 2024, com a sua publicação no Jornal Oficial da União Europeia. A Lei classifica a IA de acordo como risco: inaceitável, alto, limitado e mínimo. Entre os exemplos de risco inaceitável contam-se sistemas de manipulação cognitivo-comportamental, pontuação social e sistemas de identificação biométrica à distância em tempo real e diferido (estes com raras exeções legais).

Para compreender o alcance desta discussão, importa distinguir dois conceitos à luz da Lei da IA. Os dados biométricos, que incluem características físicas, fisiológicas, comportamentais, imagens faciais/expressão e impressões digitais; e os sistemas IA de reconhecimento de emoções capazes de identificar ou inferir emoções ou intenções de pessoas a partir dos seus dados biométricos, ou seja, avaliar a probabilidade de cometerem uma infração real ou potencial com base em sistemas de identificação biométrica.

Apesar da Lei da Inteligência Artificial proibir a utilização destes sistemas de reconhecimento de emoções, classificando-os como de risco inaceitável, fazem-se algumas distinções e deixam-se alguns pontos em aberto. A identificação de expressões de emoções será permitida, mas inferir o estado emocional das expressões tais como tristeza, felicidade, raiva, surpresa, desgosto, excitação, entre outras, é proibido. Não por acaso. Estes sistemas são reconhecidamente frágeis. Podem ser enviesados por género ou etnia, têm fiabilidade limitada e generalizam mal entre contextos. Um rosto cansado pode não ser um rosto hostil. Um silêncio pode não ser sinal de culpa. Uma expressão neutra pode esconder ansiedade, luto, dor ou simplesmente concentração.

O AI Act estabelece ainda que decisões com efeitos jurídicos adversos não podem assentar exclusivamente nos resultados de sistemas de identificação biométrica à distância em tempo real, em linha com a lógica do RGPD sobre decisões automatizadas.

Ainda assim, o problema não desaparece. Muitos destes sistemas funcionam como caixas negras: conhecem-se os dados de entrada e os resultados, mas não se compreende plenamente no processo o peso atribuído a cada variável. Quando a decisão se apresenta sob a forma de probabilidade, o risco é evidente: transformar incerteza técnica em aparência de certeza institucional.

É por isso que o considerando (42) da Lei da Inteligência Artificial é particularmente relevante ao apontar para a proibição de avaliações de risco de pessoas singulares que procurem prever a probabilidade de uma pessoa cometer uma infração, exclusivamente com base no seu perfil ou nos seus traços e características de personalidade. Isto traduz uma preocupação essencial: uma democracia não pode aceitar que a personalidade, a aparência, a expressão facial ou o comportamento inferido se convertam em indícios suficientes de culpa futura.

Mas a linguagem da segurança tende a alargar-se em momentos de medo coletivo, e este debate também já foi testado fora da Europa. Nos Estados Unidos, a Operation LASER (Los Angeles’ Strategic Extraction and Restoration) foi utilizada pela polícia de Los Angeles a partir de 2011 como estratégia de policiamento preventivo.

O programa combinava dimensões territoriais e pessoais, procurando identificar zonas, pontos críticos e indivíduos considerados de maior risco. Foi cancelado em abril de 2019, após diversas críticas onde pesaram também preocupações persistentes sobre possibilidade de enviesamentos e incidências desproporcionadas em determinadas comunidades.

A lição é incómoda. O algoritmo não nasce no vazio: aprende com o mundo que lhe damos. Se esse mundo já vigiou mais uns do que outros, já suspeitou mais de uns do que de outros e já policiou mais uns do que outros, a máquina pode apenas devolver, com verniz matemático, a mesma assimetria.

Por isso, a questão central não é apenas saber se estes sistemas acertam. É saber o que acontece quando erram, quem suporta esse erro e que tipo de sociedade se constrói quando a suspeita passa a anteceder a ação. A promessa de segurança pode ser sedutora, mas a vigilância emocional e preditiva ameaça normalizar uma presunção perigosa: a de que todos somos potenciais infratores à espera de confirmação.

A pergunta que dá título a este texto é apenas uma provocação literária. Mas, se a suspeita nascer de um perfil e a liberdade passar a depender de uma previsão, deixamos de ser cidadãos perante a lei e passamos a circular em liberdade condicional algorítmica.

*Nota de autor: A Grã-Bretanha cumpre com as disposições do Regulamento Geral de Tratamento de Dados, algo que foi negociado durante o acordo de saída da Reino Unido da Grã-Bretanha e da Irlanda do Norte da União Europeia e que entrou em vigor a 1 de fevereiro de 2020.

No entanto, a Lei da União Europeia que cria regras harmonizadas em matéria de inteligência artificial entrou em vigor após essa data, a 2 de agosto de 2024, não se aplicando ao Reino Unido da Grã-Bretanha e da Irlanda do Norte.

Helena Santos Leitão

Helena Santos Leitão é médica radiologista, professora universitária e investigadora na Faculdade de Medicina e Ciências Biomédicas da Universidade do Algarve e no Algarve Biomedical Center Research Institute. Formada em Medicina pela Faculdade de Medicina da Universidade de Lisboa e doutorada pela Universidade de Coimbra, trabalha nas áreas da imagem médica, bioética, direito médico, gestão em saúde e educação médica. Ao longo do seu percurso, acumulou experiência em administração hospitalar e tem participado em projetos que aproximam o ensino médico, a investigação biomédica e os cuidados de saúde.

FONTE: SUL INFORMAÇÃO