Um relatório recente da instituição AI Forensics revelou que o repositório de modelos de inteligência artificial Hugging Face está sendo amplamente utilizado para a criação de imagens íntimas não consensuais, incluindo deepfakes de mulheres e crianças. A pesquisa aponta para uma preocupante ausência de mecanismos de segurança adicionais na plataforma, permitindo que conteúdos prejudiciais sejam gerados livremente.
A Facilidade Chocante na Criação de Deepfakes
A análise focou nas criações dentro da plataforma Spaces do Hugging Face, um ambiente que concentra diversos aplicativos desenvolvidos com os modelos de IA disponíveis no diretório. Os resultados são alarmantes: 73% dos pedidos monitorados apresentavam conotação sexual, com o objetivo principal de remover as roupas de uma pessoa. Mais grave ainda, 6,7% dos comandos tinham menores de idade como alvos diretos.
Um dos pontos que mais chamou a atenção dos pesquisadores foi a extrema facilidade para gerar esses deepfakes. Diferentemente de outras ferramentas de IA que exigem prompts mais elaborados para contornar seus mecanismos de segurança, no Hugging Face, um comando simples é suficiente para produzir o conteúdo indesejado, o que agrava o risco de abuso.
Falta de Moderação e Controles de Segurança
A principal crítica do relatório da AI Forensics recai sobre a notável ausência de ajustes adicionais para prevenir a inserção de prompts mal-intencionados. Em entrevista ao site Wired, Paul Bouchaud, um dos pesquisadores envolvidos, explicou que o Hugging Face não implementa nenhuma medida de proteção extra em sua plataforma. Isso significa que as salvaguardas contra tentativas de deepfakes dependem exclusivamente do código-fonte dos modelos de IA utilizados, e não de uma política de moderação ativa da plataforma.
Diretrizes Ignoradas e o Ecossistema Digital do Abuso
Apesar de as diretrizes da plataforma proibirem explicitamente a criação de conteúdos que possam prejudicar indivíduos ou grupos, a pesquisa identificou que alguns dos Spaces mais populares para edição de imagens no Hugging Face permitem a geração de conteúdo íntimo sem consentimento por qualquer usuário com uma conta. Essa falha na aplicação das próprias regras da plataforma contribui para a proliferação de material abusivo.
A popularização de editores de imagens com IA tem uma relação direta com a produção em massa de nudes falsos. Um estudo anterior do Institute for Strategic Dialogue (ISD) já havia alertado para a existência de um “ecossistema digital” robusto em torno dessa prática, onde redes sociais frequentemente servem como “portas de entrada” para ferramentas desse tipo, muitas vezes operando fora das lojas de aplicativos convencionais. A situação no Hugging Face adiciona uma camada de preocupação, ao demonstrar como plataformas de desenvolvimento de IA podem ser exploradas para fins maliciosos com pouca ou nenhuma supervisão.
Fonte: canaltech.com.br