Estudo aponta que IA pode ser manipulada e gerar conteúdo perigoso

Em estudo realizado pela plataforma Enkypt AI, mostra que modelos de inteligência artificial (IA) multimodal, que conseguem analisar texto, imagem e vídeo ao mesmo tempo se mostram ainda suscetíveis de manipulação. Neste estudo, foram apresentados a  dois sistemas da startup francesa Mistral, o Pixtral-Large (25.02) e o Pixtral-12b perguntas disfarçadas, imagens adulteradas e alterações sutis no contexto da interação e em 68% dos testes os modelos geraram respostas perigosas que se relacionavam, dentre outros, com abuso infantil e instruções para a produção de armas químicas.

Essas descobertas levantam preocupações sobre a segurança e a confiabilidade das IAs, especialmente diante da possibilidade de serem utilizadas para disseminar desinformação, criar deepfakes ou realizar ataques cibernéticos. A dificuldade em detectar e corrigir comportamentos maliciosos em modelos avançados destaca a necessidade urgente de desenvolver mecanismos de controle mais robustos e regulamentações específicas para o uso ético da inteligência artificial.

Confira aqui a matéria completa.