Como colocar um LLM em produção: checklist de 10 itens

Colocar um LLM em produção não é trocar uma chamada de API por outra. É colocar no ar um componente não determinístico, caro por requisição e dependente de um fornecedor externo. A lista abaixo é o mínimo que um time de SRE deveria exigir antes do primeiro usuário real.

1. Defina o que é “funcionar”

Antes de qualquer código, escreva os SLIs: taxa de sucesso, latência p95 até o primeiro token, latência total e uma medida de qualidade (por exemplo, proporção de respostas sem reclamação). Sem isso, você não sabe se piorou.

2. Estabeleça SLOs realistas

LLMs são mais lentos e instáveis que um banco de dados. Um SLO de 99% de respostas em menos de 8 segundos pode ser mais honesto que 99,9% em 2 segundos. Ajuste depois, com dados.

3. Registre prompt, resposta e custo por requisição

Cada chamada deve gerar um evento com: modelo, versão do prompt, tokens de entrada e saída, custo estimado, latência e resultado. Mascare dados pessoais antes de gravar.

4. Versione os prompts

Prompt é código. Guarde no repositório, revise em PR e associe cada resposta à versão que a gerou. Quando a qualidade cair, você vai querer saber o que mudou.

5. Coloque teto de custo

Limite tokens por requisição, requisições por usuário e gasto mensal, com alerta em 80% do orçamento. Um loop mal feito pode consumir o orçamento do mês em uma noite.

6. Proteja contra injeção de prompt

Trate todo conteúdo recuperado (documentos, páginas, e-mails) como dado, nunca como instrução. Dê ao modelo só as ferramentas necessárias e exija aprovação humana para ações irreversíveis.

7. Tenha um plano para o fornecedor cair

Timeouts curtos, retries com limite, circuit breaker e uma resposta degradada útil (“não consegui responder agora, veja este link”). Se for crítico, um segundo provedor configurado.

8. Avalie antes de publicar

Monte um conjunto de perguntas reais com respostas esperadas e rode a cada mudança de modelo ou prompt. É o seu teste de regressão.

9. Alerte por orçamento de erro

Alertas por queima de orçamento (rápida e lenta) avisam antes do usuário reclamar, sem acordar ninguém por um pico isolado.

10. Escreva o runbook

O que fazer quando a latência dispara, quando o custo explode ou quando o modelo começa a responder errado. O runbook transforma um incidente de madrugada em uma sequência de passos.

---

Cada um desses itens vira um capítulo com código, painéis e exemplos reais no livro IA para SRE.