Um homem negro entra num processo seletivo. Ele não sabe, mas antes de qualquer entrevista, um sistema automatizado já varreu seu histórico, seu endereço, talvez até o padrão das suas conexões nas redes sociais. O sistema não tem nome, não tem rosto, não precisa justificar nada. Ele apenas pontua. E essa pontuação carrega, invisível dentro dela, décadas de dado enviesado sobre quem "parece" ser um risco.
Um estudo publicado em julho de 2026 e repercutido pela Notícia Preta mostrou que modelos de inteligência artificial aumentam em até 65% a associação de homens negros à criminalidade, e em até 69% no caso de homens latinos. Esses números não são acidente. São resultado direto do que se colocou para dentro desses modelos durante o treinamento. O viés não surgiu do nada: ele foi alimentado.
Dado ruim na entrada, dano real na saída
Existe uma frase técnica que circula bastante nos ambientes de machine learning: garbage in, garbage out. Lixo que entra, lixo que sai. Mas quando o "lixo" em questão são registros policiais historicamente concentrados em bairros periféricos, manchetes de jornal que sempre fotografam o mesmo tipo de suspeito, e datasets construídos sem nenhuma curadoria crítica sobre representatividade, o que sai do outro lado não é só lixo. É discriminação com certificado digital.
O setor de IA deve movimentar US$ 617 bilhões em 2026, segundo a mesma reportagem da Notícia Preta. É um volume de capital que pressiona por velocidade de entrega, por escala, por adoção rápida. E essa pressão tem um custo que raramente aparece nos relatórios financeiros: o custo humano de um sistema que aprende a suspeitar de você antes de te conhecer.
Quando um modelo é treinado com dados que refletem desigualdades históricas, ele não descreve o mundo como ele é. Ele perpetua o mundo como ele foi.
O problema não está em usar IA. O problema está em usar IA como se ela fosse objetiva por natureza. Objetividade não é uma propriedade automática de algoritmos. É uma escolha de design, e escolhas de design têm autores.
Governança não é burocracia, é responsabilidade com endereço
Quando se fala em governança de IA, muita gente imagina comitês, documentos de compliance, políticas internas que ninguém lê. Entendo o ceticismo. Mas governança de verdade começa numa pergunta muito mais simples: quem está na sala quando esse modelo é construído?
Se a equipe que define os dados de treinamento, as métricas de avaliação e os critérios de "bom desempenho" do modelo é homogênea, o modelo vai refletir essa homogeneidade. Não por má-fé, necessariamente. Por ponto cego. Você não consegue enxergar o viés que não afeta você.
Diversidade em times de tecnologia não é pauta social desconectada da engenharia. É engenharia. É parte do processo de construir sistemas que funcionem para mais gente, com menos dano colateral. Quando falta essa diversidade, o erro não aparece no teste de performance do modelo. Ele aparece na vida de alguém que foi negado num financiamento, excluído de uma vaga, ou parado numa blitz com base num score que ninguém sabe explicar.
A União Europeia já caminha com o AI Act, que classifica sistemas de alto risco, exige auditoria e transparência em contextos como crédito, recrutamento e justiça criminal. O Brasil discute o marco legal de IA há anos. O debate é legítimo, mas enquanto ele acontece, esses sistemas já estão em operação. Já estão decidindo.
O que fazer com isso
Acredito que existe uma diferença importante entre criticar tecnologia e entender como ela funciona para poder exigir mais dela. Criticar sem entender entrega o campo para quem constrói. E quem constrói, sozinho, sem pressão externa, raramente para para perguntar: esse modelo funciona da mesma forma para todos?
Para quem usa IA no trabalho, a pergunta prática é: você sabe em quais dados aquela ferramenta foi treinada? Você sabe quais grupos estão sub-representados nesse dataset? A maioria das pessoas que usa IA no dia a dia nunca fez essas perguntas. Não por negligência, mas porque ninguém as ensinou que essa é uma pergunta válida, necessária, urgente.
Privacidade e justiça algorítmica não são temas separados. Um sistema que coleta dados de forma ampla, sem consentimento claro, alimenta exatamente o tipo de base que produz os números daquele estudo. Dados pessoais mal gerenciados hoje viram discriminação automatizada amanhã.
O homem negro daquele processo seletivo imaginário, lá no primeiro parágrafo, talvez nunca saiba que foi o algoritmo que barrou sua candidatura antes de qualquer conversa humana. Nenhum e-mail vai dizer isso. Nenhum sistema vai se responsabilizar. E o modelo, bem treinado, bem avaliado nas métricas certas, vai continuar rodando, aprendendo, decidindo. Até alguém decidir que perguntar sobre ele também faz parte do trabalho.