Todo mundo quer ser “AI-first”, mas poucos sabem o preço real de dezenas de modelos rodando em múltiplos pipelines, cada um puxando dados sensíveis para fora da empresa. Em um papo direto com o Stack Overflow Podcast, a engenheira veterana Hema Raghavan, hoje cofundadora da Kumo.ai e ex-chefe de IA do LinkedIn, revelou os bastidores (nada glamourosos) de implementar inteligência artificial em escala – e o que você pode fazer agora para não transformar seu próximo projeto em um pesadelo de governança e custo.
Shadow AI: o “TI paralelo” que assusta CISOs
Com a pressão de investidores e diretoria para automatizar tudo, times de marketing, vendas e produto correm para plugar modelos generativos em qualquer workflow. O resultado? Dados de CRM, roadmaps de produto e até apresentações confidenciais são copiados e colados em serviços de terceiros, fora do radar da segurança da informação.
Segundo Hema, os CISOs já tratam o fenômeno como prioridade zero. Vazamento de dados de clientes ou segredos comerciais pode custar multas milionárias, sem falar no dano à reputação – algo que nenhuma startup ou corporação quer sentir na pele.
Governança por arquitetura: leve o modelo para dentro do seu perímetro
A saída mais madura que Hema enxerga é aprovar fornecedores que possam rodar dentro da infraestrutura já auditada. Plataformas como Snowpark Container Services, da Snowflake, permitem que o modelo seja implantado no mesmo ambiente do data warehouse, evitando que registros sensíveis trafeguem pela internet.
Para times com workflows críticos em nuvem pública, outra estratégia é criar um gateway único para todas as chamadas de IA. Esse ponto central aplica camadas de
• autenticação;
• inspeção de PII;
• e logging contínuo.
Com isso, auditorias e relatórios de conformidade ficam a um clique de distância.
Pipeline demais? O caos visto de dentro do LinkedIn
No LinkedIn, Hema liderava modelos como “Pessoas que Talvez Você Conheça” e recomendações de vagas. Eram dezenas de modelos e centenas de pipelines. Bastou um único tracking quebrar na camada de frontend para scores errados dispararem e gerar uma “sala de guerra” de engenharia. Descobrir o elo fraco era quase impossível: cada feature engineering dependia de outra, em cascata.
Um modelo fundacional para governar todos eles
Foi desse trauma que nasceu a Kumo.ai. A proposta: substituir um zoológico de pipelines por um único modelo fundacional, alimentado em tempo real por queries no banco relacional. No lugar de ETL pré-processado, o sistema faz consultas on-the-fly (algo semelhante ao in-context learning dos LLMs) e devolve a predição na hora.
Benefícios na prática:
• Menos código morto e “bit-rot”.
• MTTR (tempo médio para descobrir a causa raiz) cai drasticamente.
• Uma única versão de modelo para monitorar, treinar e atualizar.
Produtividade vs. qualidade: como não sacrificar um pelo outro
Com agentes de código como ChatGPT, Claude ou GitHub Copilot, qualquer dev júnior gera micro-serviços em minutos. Mas Hema alerta: velocidade sem vigilância vira dívida técnica. A Kumo documenta patterns em arquivos .md que os agentes devem seguir, garantindo consistência de API, testes e observabilidade.
O que isso significa para o seu setup de hardware?
Cada empresa que decide rodar IA em casa precisa de capacidade de treinamento (GPUs) e inferência (CPUs modernas, memórias rápidas). Se você é entusiasta ou profissional pensando em laboratórios locais, considere:
Imagem: Internet
GPUs NVIDIA RTX 4070/4080 ou A100 – ideais para quem treina modelos de 7 a 13B parâmetros.
Processadores AMD Ryzen 9 7950X3D – ótimo custo-benefício para workloads mistos de inferência e desenvolvimento.
SSDs NVMe Gen4 – reduzem drasticamente o tempo de carregamento de checkpoints.
Esses componentes já estão disponíveis no catálogo da Amazon Brasil; ao pesquisar, compare o custo por TFLOP e a quantidade de VRAM – são métricas críticas em IA.
Centralizar ou especializar bancos de dados?
Para Hema, manter um warehouse principal simplifica catalogação, masking de colunas sensíveis e auditoria. Ainda assim, workloads de recomendação em tempo real exigem latência que data lakes nem sempre entregam. A solução: usar camadas especializadas (key-value stores ou vector DBs) apenas onde o ganho faz diferença mensurável no negócio – evitando a “síndrome do novo brinquedo” que infla o stack sem retorno.
O futuro imediato: visibilidade total e redução de custos
Preços de tokens somados a múltiplos fornecedores podem explodir a fatura de nuvem. Expectativa do mercado, segundo Raghavan, é de ferramentas que mostrem, em tempo real: tráfego, PII exposta, consumo financeiro e locais exatos de inferência. Até lá, cabe às equipes adotarem KPIs como:
• Velocity (quantas entregas por sprint).
• P0 Bugs (críticos em produção).
• Mean Time to Root Cause (quantos minutos para achar o problema).
Mantendo esses três números sob controle, é possível inovar sem repetir os erros do passado – e abrir caminho para as “novas” falhas que todo salto tecnológico inevitavelmente traz.
No fim, a mensagem de Hema é clara: teste, experimente, mas não perca de vista a governança. Assim, sua jornada rumo à IA estratégica não vira manchete negativa – e ainda libera orçamento para aquele upgrade de GPU que você vem namorando.
Com informações de Stack Overflow Blog
