Se você estava empolgado para baixar o Gemma do Google ou o Llama da Meta para rodar seus próprios chatbots em casa, vale redobrar a cautela. Um experimento conduzido pela empresa de cibersegurança Alice (ex-ActiveFence), em parceria com o Financial Times, mostrou que os sistemas de segurança dos modelos Gemma 3 e Llama 3.3 caem em questão de minutos quando expostos a uma ferramenta gratuita chamada Heretic, disponível no GitHub.
10 minutos que escancaram a vulnerabilidade
Segundo o estudo, bastaram 10 minutos para que os pesquisadores removessem os chamados guardrails—barreiras que impedem respostas ilegais ou perigosas. Com isso, as IAs passaram a responder desde instruções sobre a dispersão de gases tóxicos até pedidos envolvendo conteúdo pedófilo. O processo, batizado de “abliteration”, não exige conhecimentos avançados: qualquer pessoa consegue repetir a façanha baixando o script no repositório da ferramenta.
O impacto é significativo. Até agora, o Heretic já foi usado para criar cerca de 3,5 mil modelos “sem filtro”, somando impressionantes 13 milhões de downloads. Para efeito de comparação, a versão Gemma 4 teve seus filtros quebrados em pouco mais de uma hora assim que chegou ao repositório público.
Por que os modelos open source são mais frágeis?
Ao liberar todo o código e os pesos da rede neural, Google e Meta oferecem liberdade para a comunidade adaptar os modelos a praticamente qualquer hardware—de um notebook gamer com RTX 4060 a um servidor com múltiplas GPUs. Porém, essa transparência também facilita a vida de quem quer remover as proteções.
Modelos proprietários, como ChatGPT (OpenAI) e Claude (Anthropic), mantêm o código fechado em servidores controlados, o que dificulta (mas não elimina) tentativas de jailbreaks. Ainda assim, estudos da Microsoft indicam que prompts bem elaborados conseguem furar defesas mesmo nessas plataformas.
O que isso significa para quem treina e roda IA em casa?
• Liberdade x Responsabilidade: Rodar o Gemma ou o Llama localmente dá ao usuário controle total—incluindo o risco de violar leis de direitos autorais ou cometer crimes digitais.
• Atualizações constantes: Especialistas estimam que cada nova proteção tenha validade de até 12 meses; depois disso, métodos de abliteration evoluem.
• Hardware preparado: Quanto mais leve a restrição, menor o consumo de VRAM. Na prática, PCs equipados com GPUs como a GeForce RTX 4070 SUPER ou a RX 7900 GRE conseguem rodar esses modelos sem “peso extra” de filtros, o que agrada entusiastas—mas também amplifica o problema de uso indevido.
Imagem: Internet
Big techs reagem, mas solução ainda é incerta
Em resposta, o Google afirmou que “o desafio é conhecido em todo o ecossistema open source e afeta apenas versões pré-lançamento”. Já a Meta manteve silêncio. Outras empresas seguem caminhos diferentes: a Anthropic, por exemplo, criou o Claude Mythos, considerado tão poderoso (e potencialmente perigoso) que foi entregue somente a um consórcio fechado liderado por Apple, Google e AWS.
Próximos passos: regular ou fechar o código?
Há um consenso emergente de que nenhuma barreira é permanente quando o modelo cai na internet. Enquanto legisladores discutem regras para IAs generativas, pesquisadores recomendam revisões de segurança semestrais e novos métodos de criptografia dos pesos. Para quem usa essas ferramentas em projetos legítimos—como moderação de jogos, criação de NPCs ou automação de marketing—vale ficar atento às próximas atualizações e adotar camadas de proteção próprias.
No fim do dia, o dilema permanece: quanto mais aberta a tecnologia, maior o campo de inovação — e, infelizmente, de abusos. Se você pretende experimentar esses modelos no seu setup, tenha em mente que performance e responsabilidade precisam caminhar juntas.
Com informações de Tecnoblog
