AI for SREs
Running LLMs in production with observability, cost control and security
“Your LLM returned HTTP 200. And it was wrong. Learn to run AI with SRE discipline.”
- Level
- Intermediate
- Pages
- 122
- Formats
- Kindle e-book · Paperback
- Language
- Portuguese
- Topics
- SRE · LLMs · Observability · Security
- Edition
- 1ª edição · Série IA em Produção, vol. 1
Who it’s for
- 01
SREs and platform engineers tasked with getting AI into production
- 02
Developers who built an LLM prototype and now need to ship it
- 03
Tech leads who own architecture, budget and risk for AI products
- 04
No machine learning background required: the model is treated as a component
What you’ll be able to do
- Define availability, latency and quality SLIs and SLOs for LLM systems
- Instrument calls with OpenTelemetry and build on-call dashboards
- Turn evals into continuous tests that block regressions
- Survive provider outages, slowdowns and rate limits
- Control cost per token and per outcome with caching, routing and batching
- Size capacity and decide between an API and a self-hosted model
- Apply the OWASP Top 10 for LLMs (2025) and privacy law
- Run incidents and postmortems for AI systems
Table of contents 15 chapters
-
01 Introdução
Por que um LLM em produção é um sistema distribuído com uma dependência probabilística no meio — e o que isso muda para quem opera.
-
02 Parte I · Cap. 1 — O que muda quando o sistema fala
Tokens, janela de contexto, anatomia da latência (TTFT e TPOT), não determinismo e os modos de falha que retornam HTTP 200.
-
03 Cap. 2 — Arquiteturas de aplicações com LLM
Chamada direta, RAG, agentes e o gateway de LLM: como cada arquitetura funciona e onde costuma falhar.
-
04 Parte II · Cap. 3 — SLIs e SLOs para sistemas de IA
Os quatro SLIs (disponibilidade, latência, qualidade e feedback), a matemática das dependências e alertas por taxa de consumo do orçamento de erro.
-
05 Cap. 4 — Observabilidade com OpenTelemetry
Convenções semânticas de IA generativa, instrumentação de chamadas, TTFT com streaming, cardinalidade e os painéis do plantão.
-
06 Cap. 5 — Avaliação contínua: evals como testes
Conjuntos de avaliação, verificações determinísticas, LLM como juiz, revisão humana e evals no pipeline de entrega.
-
07 Cap. 6 — Resiliência: quando o provedor falha
Timeouts, retentativas com backoff e jitter, limites de taxa, disjuntor, alternativas e falhas no meio do streaming.
-
08 Parte III · Cap. 7 — FinOps de tokens
A conta básica, a unidade certa de custo, atribuição por time e seis alavancas de economia, de cache de prompt a roteamento de modelos.
-
09 Cap. 8 — Capacidade e modelos próprios
Memória de pesos e KV cache, vazão contra latência, métricas de servidores de inferência, teste de carga e a conta API × modelo próprio.
-
10 Parte IV · Cap. 9 — Segurança e privacidade
O OWASP Top 10 para aplicações com LLM (2025) com controles práticos, testes de segurança e LGPD.
-
11 Parte V · Cap. 10 — Incidentes com IA
Tipos de incidente, mitigações preparadas, investigação sem reprodução, runbooks e postmortem sem culpa.
-
12 Cap. 11 — IA a serviço do SRE
Onde a IA ajuda o próprio plantão, um assistente em três níveis, segurança e como medir o benefício.
-
13 Cap. 12 — Laboratório: um assistente observável do zero
Projeto completo com código: telemetria, alerta de SLO, retentativas e avaliação automatizada.
-
14 Cap. 13 — Plano de 30 dias e checklist de produção
Um roteiro semana a semana e o checklist de prontidão para colocar um sistema com LLM no ar.
-
15 Apêndices
Glossário, modelos de runbook prontos para adaptar e a lista completa de referências.
Excerpt
Em um serviço web comum, a latência é um número só. Em um LLM, ela tem partes com comportamentos diferentes. Com TTFT de 600 ms, TPOT de 25 ms e uma resposta de 400 tokens, a latência total fica perto de 10,6 segundos. Se a mesma pergunta gerar uma resposta de 100 tokens, o total cai para cerca de 3 segundos. O tamanho da resposta é a maior alavanca de latência que você controla.
latência total ≈ TTFT + (tokens de saída − 1) × TPOT
# exemplo
0,6 s + 399 × 0,025 s ≈ 10,6 s # 400 tokens
0,6 s + 99 × 0,025 s ≈ 3,1 s # 100 tokensFree sample · 10 pages
Read before you buy.
Read up to 10 pages of the book right now, here on the site, and decide at your own pace. No spam — just book content and new releases.
FAQ
Preciso saber aprendizado de máquina para ler?
Não. O livro trata o modelo como um componente: algo que recebe texto, devolve texto e tem latência, custo, limites e modos de falha. Quando é preciso entender o que acontece dentro dele, a explicação fica no nível que um operador precisa.
Em que linguagem estão os exemplos?
Os exemplos de código são em Python e as consultas de métricas em PromQL, com instrumentação em OpenTelemetry. As ideias valem para qualquer linguagem, provedor ou ferramenta.
O livro depende de um provedor específico, como OpenAI ou Anthropic?
Não. Ele evita depender de um fornecedor e, quando cita preços ou números, mostra como recalcular com os valores do seu provedor na data em que você ler.
Em quais formatos ele sai?
E-book Kindle (Amazon.com.br e Amazon.com) e capa comum 6 × 9 pol com 122 páginas, vendida pela Amazon fora do Brasil.
Tem prática ou é só teoria?
Cada capítulo termina com exercícios que pedem para medir algo no seu sistema ou escrever um artefato real (SLO, runbook, regra de alerta). O Capítulo 12 é um laboratório completo com código, e os apêndices trazem modelos de runbook e um checklist de produção.
Posso ler um trecho antes de comprar?
Sim. Deixe seu e-mail nesta página e leia grátis 10 páginas — a introdução e o começo do Capítulo 1 — direto no leitor do site.
Do I need a Kindle device?
No. The Kindle app is free for phones, tablets and computers, and you can also read in your browser with Kindle Cloud Reader.
Is there a print edition?
Yes — paperback editions are available on Amazon.com and Amazon’s European stores.
Can I read some of it first?
Yes. You can read up to 10 free pages in the site’s reader: drop your email on the book page and the sample unlocks right away.
My company wants copies for the team. How?
Reach out on the Business page. We handle bulk orders, talks and workshops.