Os agentes autônomos de inteligência artificial avançaram muito em 2024, mas ainda não são capazes de aprender sozinhos todas as “manhas” necessárias para executar tarefas complexas do mundo real. É o que mostra a pesquisa que criou o SkillsBench, novo benchmark que mede o desempenho dessas IAs em 84 desafios distribuídos em 11 setores – de saúde e manufatura a cibersegurança e engenharia de software.
Como o SkillsBench testa o cérebro das IAs
No experimento, cada agente encarou três cenários distintos:
- Sem habilidades: o modelo recebe apenas instruções de texto.
- Habilidades curadas: o agente ganha um “kit” com diretórios, trechos de código e materiais de apoio selecionados por humanos.
- Habilidades autogeradas: o próprio agente tenta criar seus recursos antes de começar a tarefa.
As missões incluem desde auditar dependências npm em busca de vulnerabilidades até analisar expressão diferencial de proteínas em linhagens de células cancerígenas. Ou seja, nada que um simples chatbot dê conta de improviso.
Humano + IA = match (quase) perfeito
Os resultados são claros: agentes com habilidades curadas marcaram, em média, 16,2 pontos percentuais a mais que aqueles largados à própria sorte. Isso confirma que, por enquanto, a mão humana continua imprescindível para configurar fluxos de trabalho, escolher bibliotecas ou mesmo explicar conceitos de domínio específico.
Curiosamente, em 16 das 84 tarefas, a interferência humana derrubou o desempenho. Os autores apontam que instruções mal calibradas ou excesso de informação podem “poluir” o raciocínio da IA – um alerta para quem treina modelos em casa ou no data center da empresa.
Setor de saúde sai na frente; software nem tanto
O ganho trazido pelas habilidades curadas variou bastante entre os setores. Healthcare foi o grande beneficiado, talvez pela terminologia extremamente especializada. Já em engenharia de software, a diferença foi pequena, possivelmente porque os agentes já dominam bem linguagens de programação graças a bases de treino recheadas de código.
E o “faça você mesmo” das IAs?
Os agentes estimulados a gerar seu próprio material de apoio não apresentaram melhora significativa. Ou seja, sem uma bússola inicial, a IA ainda patina para organizar conhecimento útil antes de executar a tarefa.
Imagem: Maxwell Cooter
O que isso significa para você que é gamer, dev ou entusiasta de hardware?
• Escolha a ferramenta certa: Se você pretende automatizar processos no PC com uma placa de vídeo capaz de acelerar IA – como uma RTX 4070 ou RX 7900 GRE – saiba que exemplos de código e prompts bem estruturados continuam valendo ouro.
• Documentação importa: Manter repositórios internos bem documentados pode ser a diferença entre uma IA produtiva e uma que gera bugs.
• Mercado de “skill packs” vai crescer: Empresas podem começar a vender ou compartilhar pacotes de conhecimento otimizados para determinadas tarefas, criando um novo ecossistema similar ao de mods ou extensões de jogos.
Em resumo, a pesquisa deixa claro que a era dos agentes 100% autossuficientes ainda não chegou. Enquanto isso, cabe aos profissionais – e aos entusiastas que montam suas próprias máquinas – lapidar essas ferramentas, fornecendo o combustível intelectual necessário para elas brilharem.
Com informações de Computerworld
