Como Funciona o ChatGPT

O ChatGPT parece mágica, mas por trás existe uma tecnologia fascinante. Vou explicar como ele realmente funciona, sem fórmulas matemáticas complexas.

A Ideia Central: Prever a Próxima Palavra

No fundo, o ChatGPT faz uma coisa simples: prever qual é a próxima palavra mais provável dado o texto anterior.

Entrada: "O céu é"
Saída provável: "azul" (alta probabilidade)

Entrada: "A capital do Brasil é"
Saída provável: "Brasília" (alta probabilidade)

Entrada: "Era uma vez uma"
Saída provável: "princesa" ou "menina" (várias opções)

Fazendo isso milhões de vezes, palavra por palavra, ele gera textos que parecem escritos por humanos.

Os 3 Estágios do Treinamento

1. Pré-treinamento (Aprender a linguagem)

O modelo é treinado em trilhões de palavras da internet: livros, artigos, código, Wikipedia, etc.

O que o modelo aprende:
├── Gramática e sintaxe
├── Fatos sobre o mundo
├── Como escrever código
├── Diferentes estilos de escrita
└── Raciocínio lógico (emergente)

Custo: Milhões de dólares em compute
Tempo: Semanas/meses em clusters de GPUs

2. Fine-tuning Supervisionado

Humanos escrevem exemplos de como o modelo deveria responder:

Exemplo de dados de fine-tuning:

Pergunta: "Explique fotossíntese para uma criança"
Resposta ideal: "As plantas são como cozinheiras mágicas! 
Elas pegam luz do sol, água e ar, e fazem comida para 
crescerem. É como se fizessem um lanche usando luz!"

O modelo aprende a imitar esse estilo de resposta.

3. RLHF (Reinforcement Learning from Human Feedback)

Humanos comparam respostas e dizem qual é melhor:

Pergunta: "Como fazer um bolo?"

Resposta A: "Misture ingredientes e asse."
Resposta B: "Para fazer um bolo simples, você vai 
precisar de farinha, ovos, açúcar..."

Humano escolhe: B é melhor ✓

O modelo aprende a gerar respostas como B.

A Arquitetura Transformer

O ChatGPT usa uma arquitetura chamada Transformer, inventada pelo Google em 2017. O segredo é o mecanismo de atenção.

Como Funciona a Atenção

Quando você escreve "O gato sentou no tapete porque ele estava cansado", o modelo precisa entender que "ele" se refere ao "gato".

"O gato sentou no tapete porque ele estava cansado"
    ↑                              ↑
    └──────── atenção ─────────────┘
    
O mecanismo de atenção conecta "ele" a "gato"
mesmo que estejam distantes no texto.

Escala do GPT-4

GPT-4 (estimado):
├── ~1.7 trilhão de parâmetros
├── Treinado em trilhões de tokens
├── Janela de contexto: 128k tokens
└── Custo de treinamento: ~$100 milhões

Para comparação:
├── GPT-3: 175 bilhões de parâmetros
├── GPT-2: 1.5 bilhão de parâmetros
└── Cérebro humano: ~86 bilhões de neurônios

Como o ChatGPT Gera Texto

Quando você envia uma mensagem, acontece isso:

Você: "Qual a capital da França?"

1. TOKENIZAÇÃO
   Texto → Tokens: ["Qual", "a", "capital", "da", "França", "?"]

2. EMBEDDING
   Tokens → Vetores numéricos (representação matemática)

3. PROCESSAMENTO
   Vetores passam por ~100 camadas de Transformer
   Cada camada refina o entendimento

4. PREDIÇÃO
   Modelo calcula probabilidade de cada palavra possível:
   - "Paris": 95%
   - "Lyon": 2%
   - "Londres": 0.1%
   - ...

5. SAMPLING
   Escolhe "Paris" (maior probabilidade)
   
6. REPETIÇÃO
   Adiciona "Paris" ao contexto
   Repete para gerar próxima palavra
   Até gerar token de fim ou atingir limite

O Parâmetro Temperature

Temperature controla a "criatividade":

temperature = 0:
- Sempre escolhe a palavra mais provável
- Respostas consistentes mas repetitivas
- Bom para: código, fatos, tarefas precisas

temperature = 1:
- Mais aleatoriedade na escolha
- Respostas mais variadas e criativas
- Bom para: escrita criativa, brainstorm

temperature = 2:
- Muita aleatoriedade
- Pode gerar texto sem sentido
- Raramente útil

Por que o ChatGPT Alucina?

"Alucinação" é quando o modelo inventa informações falsas com confiança.

Por que acontece:

1. ELE NÃO "SABE" NADA
   O modelo é um sistema de padrões estatísticos.
   Ele não tem memória de fatos, apenas probabilidades.

2. TREINADO PARA SER FLUENTE
   O objetivo é gerar texto plausível, não verdadeiro.
   Texto fluente + factualmente errado ainda "parece bom".

3. NÃO TEM MECANISMO DE VERIFICAÇÃO
   Não consulta fontes, não "pensa" se é verdade.
   Apenas gera a continuação mais provável.

Exemplo de alucinação:
Pergunta: "Quem escreveu o livro 'A Montanha Encantada'?"
Resposta: "O livro foi escrito por João da Silva em 1985..."
(livro e autor inventados, mas resposta soa plausível)

Como Reduzir Alucinações

Estratégias:

1. Use RAG (Retrieval-Augmented Generation)
   - Busque fatos em bases de dados confiáveis
   - Forneça contexto factual no prompt

2. Peça citações
   - "Cite a fonte dessa informação"
   - Modelo vai admitir quando não sabe

3. Temperature baixa
   - temperature=0 para respostas factuais

4. Prompts específicos
   - "Se não souber, diga 'não sei'"
   - "Responda apenas com base no texto fornecido"

Janela de Contexto

O modelo só "vê" um número limitado de tokens por vez:

Janelas de contexto (2025):

GPT-4: 128.000 tokens (~100 páginas)
GPT-4o: 128.000 tokens
Claude 3: 200.000 tokens
GPT-3.5: 16.000 tokens

1 token ≈ 4 caracteres em inglês
1 token ≈ 2-3 caracteres em português

Limitações:
- Conversas longas "esquecem" o início
- Documentos muito grandes precisam ser divididos
- Custo aumenta com mais tokens

O que o ChatGPT NÃO Faz

Limitações importantes:

❌ Não acessa a internet em tempo real
   (exceto com plugins/tools)

❌ Não tem memória entre conversas
   (cada chat começa do zero)

❌ Não "pensa" ou "entende" como humanos
   (é pattern matching sofisticado)

❌ Não tem conhecimento após data de corte
   (GPT-4: abril 2023, aproximadamente)

❌ Não pode executar código de verdade
   (apenas simula, exceto com Code Interpreter)

Usando a API como AI Engineer

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {
            "role": "system",
            "content": "Você é um assistente técnico."
        },
        {
            "role": "user", 
            "content": "Explique Docker em uma frase."
        }
    ],
    temperature=0.3,  # Mais determinístico
    max_tokens=100    # Limitar resposta
)

print(response.choices[0].message.content)

Conclusão

O ChatGPT é uma ferramenta incrível, mas não é mágica. Entender como ele funciona te ajuda a:

• Escrever prompts melhores
• Saber quando confiar (e quando não confiar)
• Construir aplicações mais robustas
• Debugar quando algo dá errado