Glossário de IA
LLM (Large Language Model)
Também chamado de: Modelo de linguagem de grande escala · Modelo de linguagem
LLM é um modelo de inteligência artificial treinado em grandes volumes de texto para prever a próxima palavra, o que permite responder perguntas, resumir, traduzir e gerar código.
Como funciona
Um LLM recebe um texto de entrada (o prompt), divide esse texto em pedaços chamados tokens e calcula, token a token, qual é a continuação mais provável. Esse mecanismo simples, repetido bilhões de vezes durante o treinamento, produz modelos capazes de seguir instruções, raciocinar em etapas e escrever código.
Onde o LLM erra
- Alucinação: gera fatos que parecem plausíveis, mas não existem.
- Conhecimento congelado: só sabe o que estava nos dados de treinamento, até a data de corte.
- Custo e latência variáveis: respostas longas custam mais e demoram mais.
Em produção
Colocar um LLM em produção exige o mesmo rigor de qualquer sistema crítico: métricas de latência e erro, controle de custo por requisição, proteção contra injeção de prompt e um plano para quando o fornecedor do modelo cair.
Aprofunde no livro
IA para SRE
Seu LLM respondeu com status 200. E errado. Aprenda a operar IA com a disciplina do SRE.