Artigo 8 - Série: Como as máquinas aprendem - Vieses, poder e limites do uso algorítmico

Sistemas de aprendizado de máquina não são neutros: carregam escolhas, reproduzem padrões históricos, distribuem consequências e exigem governança pública, técnica e ética

Índice

1. Lide
2. Introdução: o mito da neutralidade algorítmica
3. O que é viés algorítmico
4. De onde vêm os vieses nos sistemas de machine learning
5. Quando o dado histórico vira injustiça automatizada
6. Opacidade, caixa-preta e assimetria de poder
7. Por que modelos potentes não são necessariamente modelos justos
8. O problema da escala: pequenos erros, grandes danos
9. Transparência, rastreabilidade e accountability
10. Supervisão humana e governança do ciclo de vida
11. Um exemplo didático: crédito, educação e seleção automatizada
12. Os limites do uso algorítmico em contextos sensíveis
13. Por que esse debate é político, e não apenas técnico
14. Conclusão
15. Referências

Lide

Quanto mais os algoritmos avançam em capacidade de classificação, previsão e recomendação, mais cresce a tentação de tratá-los como instrumentos neutros, objetivos e tecnicamente superiores ao julgamento humano. Esse raciocínio é enganoso. Sistemas de machine learning aprendem a partir de dados históricos, operam com critérios definidos por pessoas e instituições e produzem efeitos concretos sobre direitos, oportunidades e formas de exclusão. Por isso, o problema do uso algorítmico não se resume a desempenho técnico. Ele envolve viés, opacidade, rastreabilidade, supervisão humana, responsabilização e proteção de direitos fundamentais. Organizações internacionais e marcos regulatórios recentes convergem nesse ponto: IA confiável exige gestão de risco, transparência proporcional ao contexto, accountability e governança ao longo de todo o ciclo de vida do sistema.  

Introdução: o mito da neutralidade algorítmica

Há uma crença recorrente na cultura digital contemporânea: a de que algoritmos seriam menos enviesados porque “são matemáticos”. A formulação parece elegante, mas não resiste a uma análise minimamente rigorosa. O National Institute of Standards and Technology, ao definir características de IA confiável, afirma que sistemas de IA devem ser válidos e confiáveis, seguros, transparentes, explicáveis, com privacidade reforçada e “justos, com viés nocivo gerido”, o que já indica que o risco de viés não é periférico, mas estrutural.  

A Organização para a Cooperação e Desenvolvimento Econômico vai na mesma direção ao sustentar que atores de IA devem assegurar transparência, divulgação responsável, rastreabilidade e accountability apropriadas ao contexto. A UNESCO, por sua vez, afirma que a proteção dos direitos humanos e da dignidade humana é o núcleo de sua Recomendação sobre Ética da Inteligência Artificial e associa esse núcleo a princípios como transparência, equidade e supervisão humana.  

Em outras palavras, a literatura institucional mais séria sobre o tema não parte da hipótese de neutralidade. Parte, ao contrário, da necessidade de governar riscos sociotécnicos. E isso muda tudo. O algoritmo deixa de ser visto como árbitro puro e passa a ser entendido como artefato construído, treinado, implantado e usado em contextos sociais concretos.  

O que é viés algorítmico

Viés algorítmico não é apenas “erro estatístico” em sentido estreito. Em contextos de governança e direitos, ele diz respeito a distorções sistemáticas que podem produzir tratamento injusto, desvantagens desproporcionais ou reforço de desigualdades existentes. O NIST usa a expressão “fair with harmful bias managed”, isto é, sistemas justos com viés nocivo gerido, precisamente para marcar que a questão não é eliminar toda diferença estatística abstrata, mas administrar os vieses que geram dano.  

Esse ponto é importante porque evita duas simplificações. A primeira é achar que qualquer diferença entre grupos prova injustiça automática. A segunda, ainda mais problemática, é imaginar que basta alta acurácia média para que o sistema seja legítimo. Um modelo pode apresentar bom desempenho global e, ainda assim, falhar mais com certos grupos, certos territórios ou certos perfis historicamente sub-representados. O problema do viés, portanto, não se resolve olhando apenas um número agregado.  

De onde vêm os vieses nos sistemas de machine learning

Os vieses podem surgir em diversas etapas do ciclo de vida do sistema. Podem nascer na coleta de dados, quando a base já representa o mundo de forma desigual. Podem emergir na rotulação, quando o “alvo correto” reflete julgamentos humanos problemáticos. Podem ser reforçados na escolha das variáveis, na definição da tarefa, no modelo adotado, na métrica de sucesso, no limiar de decisão ou no modo como o sistema é implantado e monitorado. A OECD destaca justamente que accountability em IA requer integração entre gestão de risco e ciclo de vida do sistema, incluindo mecanismos para definir, avaliar, tratar e governar riscos em cada etapa.  

O NIST também insiste que a medição dos riscos de IA depende do contexto e que métodos e métricas de medição continuam evoluindo. Isso significa que o viés não é um defeito pontual que se corrige com um “botão ético”, mas um problema persistente de desenho, mensuração e governança.  

Quando o dado histórico vira injustiça automatizada

Todo modelo aprende a partir de registros passados. Esse fato, por si só, já impõe um limite. Se o passado institucional embute desigualdades, exclusões ou padrões seletivos, o sistema pode tratá-los como regularidades úteis e reproduzi-los em escala. A UNESCO sublinha que a ética da IA deve ser ancorada em direitos humanos, dignidade e Estado de Direito justamente porque a tecnologia pode ampliar vulnerabilidades já existentes.  

A questão fica mais delicada quando sistemas preditivos são aplicados a crédito, educação, saúde, trabalho, justiça ou segurança. Nesses domínios, o dado histórico não é mera fotografia neutra; ele pode ser memória de desigualdades sociais cristalizadas em registros administrativos. Se o algoritmo aprende desse passado sem controle crítico, ele automatiza não apenas um padrão, mas uma herança. O resultado é uma espécie de retrovisor travestido de previsão. Essa é uma inferência analítica apoiada nos princípios de governança de risco e direitos fundamentais presentes nas fontes institucionais.  

Opacidade, caixa-preta e assimetria de poder

Outro problema central é a opacidade. Nem todo modelo é igualmente interpretável, e muitos sistemas operam como caixas-pretas parciais ou práticas. Mesmo quando o código existe, a compreensão pública de como uma decisão foi produzida pode ser limitada. O NIST inclui transparência, explicabilidade e interpretabilidade entre as características da IA confiável. A OECD acrescenta a necessidade de rastreabilidade sobre dados, processos e decisões ao longo do ciclo de vida, precisamente para permitir análise dos resultados e resposta a questionamentos.  

A opacidade importa porque redistribui poder. Quem projeta, treina e controla o sistema possui capacidade de intervenção e leitura que o cidadão afetado muitas vezes não possui. Em contextos sensíveis, isso produz assimetria institucional: o indivíduo recebe a consequência, mas não compreende o mecanismo. Em termos democráticos, essa dissociação é problemática porque dificulta contestação, revisão e responsabilização.  

Por que modelos potentes não são necessariamente modelos justos

Há uma tendência de confundir sofisticação técnica com legitimidade social. Esse é um erro grave. Um modelo mais potente em termos preditivos não é automaticamente mais justo, mais auditável ou mais apropriado a contextos de alto impacto. O NIST, ao tratar de IA confiável, deixa claro que várias características precisam ser equilibradas conforme o contexto de uso, incluindo validade, segurança, privacidade, transparência, accountability e gestão de viés nocivo. Não se trata, portanto, de maximizar apenas desempenho bruto.  

A própria arquitetura regulatória europeia reforça essa ideia ao adotar um enfoque baseado em risco. O resumo oficial do EUR-Lex informa que o Regulamento (UE) 2024/1689 busca promover IA segura e confiável, ao mesmo tempo que protege saúde, segurança e direitos fundamentais, estabelecendo regras proporcionais ao risco. Para sistemas de alto risco, a legislação prevê requisitos como governança de dados, documentação, registro, transparência, supervisão humana, robustez, exatidão e segurança.  

O problema da escala: pequenos erros, grandes danos

Uma das razões pelas quais o debate sobre IA é tão sensível está no efeito de escala. Em decisões humanas isoladas, erros podem ser graves; em sistemas automatizados amplamente implantados, o mesmo erro pode ser repetido milhares ou milhões de vezes com velocidade e aparência de consistência. A OECD tem chamado atenção para accountability e mecanismos de governança justamente porque sistemas automatizados ampliam o alcance das decisões e, com isso, ampliam também o potencial de dano se o desenho estiver comprometido.  

O problema não é apenas quantitativo. A repetição automatizada tende a conferir aura de legitimidade ao padrão. Quando o erro se repete com regularidade e interface técnica, ele deixa de parecer erro e começa a parecer critério. É esse ponto que torna a governança algorítmica uma questão de interesse público, não apenas de engenharia. Essa conclusão é uma inferência sustentada pelos marcos de risco, transparência e accountability presentes nas fontes consultadas.  

Transparência, rastreabilidade e accountability

Se o risco é estrutural, a resposta não pode ser improvisada. Transparência, rastreabilidade e accountability aparecem de forma recorrente nos principais referenciais internacionais. A OECD afirma que atores de IA devem assegurar rastreabilidade em relação a conjuntos de dados, processos e decisões, para permitir análise de saídas e respostas a inquéritos. O NIST inclui accountability e transparência entre atributos centrais da IA confiável.  

Na prática, isso significa documentar objetivos, variáveis, bases de dados, critérios de modelagem, métricas, limitações conhecidas, contexto de uso e procedimentos de monitoramento. Significa também definir responsabilidades institucionais. Um sistema não pode ser apresentado como se “decidisse sozinho”; é preciso identificar quem projeta, quem fornece, quem implanta, quem supervisiona e quem responde quando surgem danos ou falhas.  

Supervisão humana e governança do ciclo de vida

A supervisão humana aparece como princípio recorrente em documentos normativos e orientadores. A UNESCO a vincula diretamente à ética da IA. O AI Act europeu a inclui entre os requisitos para sistemas de alto risco. O NIST, ao tratar da configuração humano-IA, ressalta que o uso e a supervisão devem ser desenhados de modo a administrar riscos e preservar confiabilidade.  

Mas supervisão humana, aqui, não deve ser entendida como mero ritual simbólico. Não basta colocar um operador para apertar “confirmar” numa interface opaca. Supervisão real exige competência, acesso à informação relevante, poder de interromper, revisar ou contestar o resultado e procedimentos claros de escalonamento e correção. Quando a supervisão é apenas decorativa, ela não corrige o problema; apenas o legitima. Essa é uma inferência coerente com os princípios de human oversight e accountability das fontes utilizadas.  

Um exemplo didático: crédito, educação e seleção automatizada

Imagine três cenários. Num sistema de crédito, um modelo aprende a partir de históricos de pagamento e perfil socioeconômico. Num sistema educacional, um modelo estima risco de evasão com base em frequência, desempenho e registros institucionais. Num processo seletivo, um classificador ordena candidatos a partir de currículos e padrões históricos de contratação.

Nos três casos, o modelo pode ser tecnicamente eficiente e, ainda assim, problemático. Se os dados históricos carregam desigualdade territorial, seletividade econômica ou preferências institucionais herdadas, o sistema pode reproduzir essas regularidades com aparência de neutralidade. Em contextos assim, transparência sobre limitações, governança de dados, avaliação de impacto e supervisão humana deixam de ser adereços e passam a ser exigências centrais de legitimidade.  

Os limites do uso algorítmico em contextos sensíveis

O avanço técnico dos modelos não elimina o fato de que certos domínios exigem cautela reforçada. O resumo oficial do AI Act destaca que, antes do uso de sistemas de alto risco por entidades prestadoras de serviços públicos, deve haver avaliação de impacto sobre direitos fundamentais, além de requisitos adicionais de transparência e registro. Esse desenho normativo revela uma ideia importante: nem toda eficiência computacional justifica delegação ampla de decisão em contextos que afetam diretamente direitos.  

Em termos práticos, isso significa reconhecer limites. Há situações em que o algoritmo pode apoiar, mas não substituir julgamento institucional responsável. Há situações em que automação deve ser restringida, auditada intensamente ou até rejeitada. E há situações em que o custo democrático da opacidade supera o ganho operacional. Essa leitura é compatível com a lógica de risco proporcional e proteção de direitos fundamentais presente nos marcos internacionais consultados.  

Por que esse debate é político, e não apenas técnico

No fundo, discutir vieses e limites do uso algorítmico é discutir distribuição de poder social. Quem define os objetivos do sistema? Quem escolhe as variáveis? Quem decide o que conta como sucesso? Quem é mais monitorado? Quem pode contestar? Quem arca com o custo do erro? Essas perguntas ultrapassam a engenharia e entram no campo da política institucional, dos direitos e da democracia.

É exatamente por isso que a UNESCO ancora a ética da IA em direitos humanos e dignidade, que a OECD insiste em accountability e rastreabilidade, que o NIST trata o problema como gestão de risco sociotécnico e que a União Europeia adota uma arquitetura regulatória baseada em risco e direitos fundamentais. Todos esses marcos, embora distintos, convergem num ponto: IA não é apenas uma questão de desempenho computacional; é uma questão de como sociedades decidem governar sistemas que já interferem em oportunidades, visibilidade, acesso e proteção jurídica.  

Conclusão

Os sistemas de machine learning não são neutros porque não nascem fora da sociedade. Eles aprendem com dados produzidos historicamente, operam segundo objetivos definidos por instituições, dependem de métricas escolhidas por agentes humanos e produzem consequências concretas sobre vidas, grupos e direitos. É por isso que o debate sobre vieses, poder e limites do uso algorítmico não pode ser reduzido a um ajuste fino de performance. O problema é maior. Envolve a forma como desigualdades podem ser automatizadas, como decisões podem se tornar opacas, como erros podem ganhar escala e como a responsabilidade pode se dissolver atrás da palavra “algoritmo”.

A resposta adequada, portanto, não está nem no tecnofetichismo nem na rejeição simplista. Está em governança rigorosa. Isso inclui gestão de risco, documentação, rastreabilidade, transparência proporcional, supervisão humana efetiva, avaliação de impacto e responsabilização ao longo de todo o ciclo de vida do sistema. Em contextos sensíveis, sobretudo, a pergunta correta não é apenas se o modelo acerta bastante. É se ele pode ser legitimamente usado sem corroer direitos, obscurecer responsabilidades e naturalizar injustiças. Quando essa pergunta entra em cena, o debate sobre IA finalmente amadurece.

Referências

GOOGLE DEVELOPER. Machine Learning Glossary. 2026.

NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY. Artificial Intelligence Risk Management Framework (AI RMF 1.0). 2023.
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. 2024.
NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY. AI RMF Playbook. 2024.

ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. AI Principles. 2024.
ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Advancing accountability in AI. 2023.

UNESCO. Recommendation on the Ethics of Artificial Intelligence. 2021.
UNESCO. Ethics of Artificial Intelligence. 2024.

UNIÃO EUROPEIA. Rules for trustworthy artificial intelligence in the EU. Regulamento (UE) 2024/1689. 2025.

Se quiser, eu sigo agora com um texto de fechamento da série inteira, unificando os artigos em uma conclusão editorial única para o Brasil Esfera Pública.