# AI for SREs

> Running LLMs in production with observability, cost control and security. A hands-on guide to running LLMs in production: SLOs, OpenTelemetry, evals, resilience, token costs, OWASP for LLMs and incident response. Portuguese edition.

- About the author: Felipe Auleon (Site Reliability Engineer in the financial sector)
- Level: Intermediate
- Formats: Kindle e-book, Paperback
- Status: Coming soon
- URL: https://readruna.com/en/books/ai-for-sres


## Who it’s for
- SREs and platform engineers tasked with getting AI into production
- Developers who built an LLM prototype and now need to ship it
- Tech leads who own architecture, budget and risk for AI products
- No machine learning background required: the model is treated as a component

## What you’ll be able to do
- Define availability, latency and quality SLIs and SLOs for LLM systems
- Instrument calls with OpenTelemetry and build on-call dashboards
- Turn evals into continuous tests that block regressions
- Survive provider outages, slowdowns and rate limits
- Control cost per token and per outcome with caching, routing and batching
- Size capacity and decide between an API and a self-hosted model
- Apply the OWASP Top 10 for LLMs (2025) and privacy law
- Run incidents and postmortems for AI systems

## Table of contents
1. Introdução — Por que um LLM em produção é um sistema distribuído com uma dependência probabilística no meio — e o que isso muda para quem opera.
2. Parte I · Cap. 1 — O que muda quando o sistema fala — Tokens, janela de contexto, anatomia da latência (TTFT e TPOT), não determinismo e os modos de falha que retornam HTTP 200.
3. Cap. 2 — Arquiteturas de aplicações com LLM — Chamada direta, RAG, agentes e o gateway de LLM: como cada arquitetura funciona e onde costuma falhar.
4. Parte II · Cap. 3 — SLIs e SLOs para sistemas de IA — Os quatro SLIs (disponibilidade, latência, qualidade e feedback), a matemática das dependências e alertas por taxa de consumo do orçamento de erro.
5. Cap. 4 — Observabilidade com OpenTelemetry — Convenções semânticas de IA generativa, instrumentação de chamadas, TTFT com streaming, cardinalidade e os painéis do plantão.
6. Cap. 5 — Avaliação contínua: evals como testes — Conjuntos de avaliação, verificações determinísticas, LLM como juiz, revisão humana e evals no pipeline de entrega.
7. Cap. 6 — Resiliência: quando o provedor falha — Timeouts, retentativas com backoff e jitter, limites de taxa, disjuntor, alternativas e falhas no meio do streaming.
8. Parte III · Cap. 7 — FinOps de tokens — A conta básica, a unidade certa de custo, atribuição por time e seis alavancas de economia, de cache de prompt a roteamento de modelos.
9. Cap. 8 — Capacidade e modelos próprios — Memória de pesos e KV cache, vazão contra latência, métricas de servidores de inferência, teste de carga e a conta API × modelo próprio.
10. Parte IV · Cap. 9 — Segurança e privacidade — O OWASP Top 10 para aplicações com LLM (2025) com controles práticos, testes de segurança e LGPD.
11. Parte V · Cap. 10 — Incidentes com IA — Tipos de incidente, mitigações preparadas, investigação sem reprodução, runbooks e postmortem sem culpa.
12. Cap. 11 — IA a serviço do SRE — Onde a IA ajuda o próprio plantão, um assistente em três níveis, segurança e como medir o benefício.
13. Cap. 12 — Laboratório: um assistente observável do zero — Projeto completo com código: telemetria, alerta de SLO, retentativas e avaliação automatizada.
14. Cap. 13 — Plano de 30 dias e checklist de produção — Um roteiro semana a semana e o checklist de prontidão para colocar um sistema com LLM no ar.
15. Apêndices — Glossário, modelos de runbook prontos para adaptar e a lista completa de referências.

## FAQ
### Preciso saber aprendizado de máquina para ler?
Não. O livro trata o modelo como um componente: algo que recebe texto, devolve texto e tem latência, custo, limites e modos de falha. Quando é preciso entender o que acontece dentro dele, a explicação fica no nível que um operador precisa.

### Em que linguagem estão os exemplos?
Os exemplos de código são em Python e as consultas de métricas em PromQL, com instrumentação em OpenTelemetry. As ideias valem para qualquer linguagem, provedor ou ferramenta.

### O livro depende de um provedor específico, como OpenAI ou Anthropic?
Não. Ele evita depender de um fornecedor e, quando cita preços ou números, mostra como recalcular com os valores do seu provedor na data em que você ler.

### Em quais formatos ele sai?
E-book Kindle (Amazon.com.br e Amazon.com) e capa comum 6 × 9 pol com 122 páginas, vendida pela Amazon fora do Brasil.

### Tem prática ou é só teoria?
Cada capítulo termina com exercícios que pedem para medir algo no seu sistema ou escrever um artefato real (SLO, runbook, regra de alerta). O Capítulo 12 é um laboratório completo com código, e os apêndices trazem modelos de runbook e um checklist de produção.

### Posso ler um trecho antes de comprar?
Sim. Deixe seu e-mail nesta página e leia grátis 10 páginas — a introdução e o começo do Capítulo 1 — direto no leitor do site.

### Do I need a Kindle device?
No. The Kindle app is free for phones, tablets and computers, and you can also read in your browser with Kindle Cloud Reader.

### Is there a print edition?
Yes — paperback editions are available on Amazon.com and Amazon’s European stores.

### Can I read some of it first?
Yes. You can read up to 10 free pages in the site’s reader: drop your email on the book page and the sample unlocks right away.

### My company wants copies for the team. How?
Reach out on the Business page. We handle bulk orders, talks and workshops.