Artigos · Citação e jurisprudência · 24/09/26
Súmula certa, número errado: o erro que a Polar pega antes do juiz
Modelos de linguagem citam precedente com a mesma segurança quando acertam e quando erram. A Polar não pergunta ao modelo o que ele lembra: compara o que a peça afirma com a tese oficial do tribunal.
O erro que não parece erro
Todo advogado que já usou IA conhece o precedente inventado: o número que não existe, o recurso especial que nenhum tribunal julgou. Esse é o erro fácil de pegar. Basta procurar o número e ver que ele não está lá.
O erro que preocupa é outro. O número existe, o tribunal existe, a tese faz sentido jurídico, e mesmo assim a citação está errada, porque aquele precedente não decide aquilo. Uma pesquisa rápida confirma que a súmula existe e deixa o problema passar. Quem descobre é o juiz, ou a parte contrária.
Modelos de linguagem erram assim porque guardam o direito como associação, e não como registro. A Súmula 430 e a Súmula 435 do STJ tratam do mesmo assunto, a responsabilidade do sócio na execução fiscal, e estão a cinco números de distância. Na memória de um modelo, as duas vivem juntas.
A pergunta certa
Existem duas formas de usar um modelo para conferir uma citação. A primeira é perguntar a ele o que diz a Súmula 430. Nesse caso, a conferência depende da mesma memória que produziu o erro. A segunda é entregar a ele duas afirmações, o que a peça atribui ao precedente e a tese oficial desse precedente, e perguntar só se as duas dizem a mesma coisa.
A Polar usa a segunda. A tese oficial vem de um catálogo montado a partir das fontes dos próprios tribunais: temas de repercussão geral e de recursos repetitivos, súmulas e súmulas vinculantes, com a indicação de vigência. O verificador não precisa saber direito tributário de cor. Precisa ler duas frases e dizer se elas dizem a mesma coisa, o que é uma tarefa bem mais estável.
O verificador devolve uma de três respostas:
O recurso especial não se presta a rediscutir a prova dos autos, conforme a Súmula 7 do STJ.
A pretensão de simples reexame de prova não enseja recurso especial.
Nos termos da Súmula 430 do STJ, presume-se dissolvida irregularmente a empresa que deixa de funcionar no domicílio fiscal sem comunicação.
O inadimplemento da obrigação tributária pela sociedade não gera, por si só, a responsabilidade solidária do sócio-gerente.
A Súmula 430 do STJ autoriza responsabilizar o sócio-gerente pelo simples inadimplemento do tributo.
O inadimplemento da obrigação tributária pela sociedade não gera, por si só, a responsabilidade solidária do sócio-gerente.
Nesse sentido, a Súmula 7 do STJ.
O trecho cita o precedente sem atribuir tese a ele. Não há o que conferir, e o verificador não acusa nada.
O segundo exemplo descreve com exatidão a Súmula 435, e não a 430. A afirmação é verdadeira, mas está presa ao número errado.
Como medimos
Para escolher o verificador, escrevemos à mão, caso a caso, um conjunto de 75 citações em prosa forense de verdade, com abreviaturas, datas de julgamento e nome de relator, do jeito que aparecem numa peça. Cada citação foi escrita contra a tese oficial do catálogo, e a resposta certa de cada uma é conhecida de antemão.
As citações se distribuem em 11 tipos, dos mais simples aos mais traiçoeiros. Na tabela, alguns aparecem agrupados:
| Tipo | O que a citação faz | Veredito certo |
|---|---|---|
| Literal, paráfrase | Repete ou reescreve a tese com fidelidade | Coerente |
| Aplicada ao caso | Usa a tese sobre os fatos concretos da causa | Coerente |
| Menção seca | Cita o número sem atribuir tese | Menção |
| Assunto trocado | Atribui ao número a tese de outro precedente | Divergente |
| Invertida | Atribui o oposto do que foi decidido | Divergente |
| Extensão | Estica a tese além do que ela sustenta | Divergente |
| Corolário falso | Tira da tese uma consequência que ela não autoriza | Divergente |
| Verdadeira, número errado | Afirmação jurídica correta presa ao precedente que não a decide | Divergente |
| Número vizinho | Troca por um número próximo, do mesmo assunto | Divergente |
A versão inicial do conjunto tinha 50 citações, e vários verificadores tiraram nota máxima. Um teste que todo mundo gabarita não ajuda a escolher nada. O conjunto só passou a separar as abordagens quando incluímos os três últimos tipos da tabela, que são exatamente os erros que uma revisão humana apressada também deixa passar.
O resultado
Na mesma bateria, uma abordagem mais simples, com modelos pequenos de inferência textual que dispensam modelo de linguagem, ficou em 36%. Ela reconhecia bem as citações corretas, mas deixava passar quase todas as erradas dos tipos difíceis: assunto trocado, tese invertida, número vizinho. Ela percebe que as palavras são parecidas, mas não percebe que o sentido mudou.
Medimos dois erros separadamente, porque eles pesam diferente. Deixar passar uma citação errada é o erro grave. Acusar uma citação certa é o erro que desgasta: um alarme que dispara à toa ensina o advogado a ignorar a revisão inteira. Um bom verificador precisa zerar o primeiro sem inflar o segundo.
O que acontece na Polar
- A peça é escrita com a pesquisa de jurisprudência feita no acervo, e não na memória do modelo.
- Cada citação de tema, súmula ou precedente qualificado é localizada no catálogo oficial, com a vigência. Súmula cancelada é sinalizada como cancelada.
- O verificador compara o que o trecho atribui ao precedente com a tese oficial.
- O que não confere aparece numa seção de revisão, com o trecho, a tese oficial e o motivo. A decisão continua com o advogado.
A conferência roda depois da escrita, sem atrasar a resposta, e só fala quando tem uma fonte oficial para comparar. Citação que o catálogo não cobre não recebe selo de aprovada. Recebe a indicação de que não foi possível conferir.
Por que isso importa
A pergunta sobre IA no direito costuma ser qual modelo é melhor. A experiência de construir a Polar aponta para outra direção: os melhores modelos já sabem comparar duas afirmações jurídicas quase sem erro. O que decide a confiabilidade é o que se entrega a eles. Com a tese oficial ao lado, a conferência fica estável. Sem ela, fica sujeita às mesmas associações que produzem o erro.
A citação conferida na fonte não substitui a leitura do advogado. Ela aponta onde vale a pena ler de novo.
Referências
- STJ, Súmula 7: "A pretensão de simples reexame de prova não enseja recurso especial."
- STJ, Súmula 430: "O inadimplemento da obrigação tributária pela sociedade não gera, por si só, a responsabilidade solidária do sócio-gerente."
- STJ, Súmula 435: "Presume-se dissolvida irregularmente a empresa que deixar de funcionar no seu domicílio fiscal, sem comunicação aos órgãos competentes, legitimando o redirecionamento da execução fiscal para o sócio-gerente."
Marcio EstevamFundador, MeridianAI Labs