Apêndice: Análise Comparativa de Modelos de Linguagem em Tarefa de Síntese Textual
Resumo
Análise comparativa do desempenho de quatro modelos de linguagem — Grok 3, ChatGPT 5, Opus 4.1 e Gemini 2.5 Pro — em uma tarefa padronizada de síntese textual de baixa complexidade. Utilizando como input a letra da música "Lo Malo de Ser Bueno" (Cuarteto de Nos), avaliamos os outputs em quatro dimensões: volume de resposta, estrutura do texto, qualidade analítica e fidelidade ao prompt. Os resultados mostram que tarefas simples expõem diferenças relevantes entre os modelos, desde tendência à fabricação de títulos até variações na profundidade interpretativa. Grok 3 e Gemini 2.5 Pro produziram as respostas mais extensas; ChatGPT 5 foi o mais conciso e fiel ao comando; Opus 4.1 apresentou a análise mais estruturada tematicamente. Os quatro modelos convergiram na identificação dos mesmos eixos temáticos centrais, sugerindo que a diferenciação ocorre mais na forma e na fidelidade do que na capacidade interpretativa bruta.
Introdução
Este apêndice propõe uma análise comparativa do desempenho de quatro modelos de linguagem natural (LLM) em uma tarefa de síntese textual de baixa complexidade. A escolha deliberada por uma tarefa simples — sintetizar uma letra de música — serve a um propósito específico: quando a complexidade do problema é reduzida, as diferenças entre os modelos aparecem nos detalhes de execução, não na capacidade bruta de processamento.
Os modelos comparados foram: Grok 3 (xAI), ChatGPT 5 (OpenAI), Opus 4.1 (Anthropic) e Gemini 2.5 Pro (Google). Todos foram testados com o mesmo prompt, aplicado diretamente e sem instruções adicionais de formatação ou tom.
O prompt utilizado foi:
"Sintetize as ideias e principais trechos da letra da música: [letra completa de Lo Malo de Ser Bueno]"
A música escolhida, "Lo Malo de Ser Bueno" d...
Leia o artigo completo
Baixe gratuitamente o PDF com o conteúdo integral deste artigo, incluindo todas as seções, tabelas, referências bibliográficas e análise completa.
10 min de leitura | Acesso gratuito mediante cadastro
Sumário do artigo
- Resultados por Modelo
- Grok 3
- ChatGPT 5
- Opus 4.1
- Gemini 2.5 Pro
- Análise Comparativa
- Volume de Resposta
- Estrutura
- Qualidade Analítica
- Fidelidade ao Prompt
- Padrões e Convergências