Brier-0 supera o Jev: 9 pontos acima no B2W e à frente no sintético e no ASSIN2

1. Contra o Jev
2. A meta e o ponto de partida
3. Um professor sem viés de posição
4. Destilação só onde o professor é forte
5. O teto do teste sintético
6. A cascata e o limiar
7. Testes com rótulo humano
8. Limites
9. Como usar

1. Contra o Jev

O Jev, da TypeSafe AI, é o modelo comercial fechado de decisão tipada que usamos como régua. Os dois receberam os mesmos pedidos, e comparamos item a item com intervalo de confiança de 95% por bootstrap pareado.

Brier-0 na cascata nos testes sintéticos e no ASSIN2, e o zero-local no B2W e no tweetSentBR, que é o modo recomendado para esses textos. "À frente" quer dizer maior acerto, ainda sem significância estatística. No B2W, a parte de treino do conjunto entra no treino desde o v5; o teste é separado.

2. A meta e o ponto de partida

O Brier decide sobre texto: recebe um state e perguntas de escolha (choice), escala (score) ou sim/não (noul), e devolve a probabilidade de cada opção. O v5 (Qwen3-4B + LoRA) é a versão mais precisa até aqui. Ele vence o Jev no B2W e empata no ASSIN2, mas fica atrás no sintético: 77,5% contra 79,5%. A meta do Brier-0 era superar o v5 e chegar a 90% no sintético.

Tínhamos à mão um modelo muito maior. O mangaba-titan roda em 2× NVIDIA L40S num datacenter no Brasil e, usado direto como decisor, faz 81,5% no sintético. Como ele é nosso, não há cota nem custo por chamada para usá-lo como professor.

3. Um professor sem viés de posição

Pedimos ao titan um único token de resposta, com as probabilidades dos 20 tokens mais prováveis, e lemos a massa de cada rótulo (A, B, … ou 0…9). Modelos grandes têm preferência pela primeira opção. Por isso cada pergunta vai duas vezes, com as opções na ordem apresentada e na invertida, e o alvo é a média já na ordem canônica.

O state vem antes da pergunta, então o cache de prefixo do servidor reaproveita o texto longo entre as perguntas e as duas ordens. Rotulamos 16.435 exemplos de treino a ~5 por segundo, com o titan atendendo a produção ao mesmo tempo.

4. Destilação só onde o professor é forte

Usado direto como decisor, o titan é desigual: acerta 92% em sim/não e 85% em escolha, mas só 42–67% em escalas (notas de 1 a 5, graus de similaridade). Nos conjuntos humanos, perde do v5. Destilar tudo copiaria também os erros. Por isso a perda do Brier-0 combina:

• entropia cruzada contra o alvo suave dos rotuladores, como no v5;
• KL com o professor, só em escolha e sim/não, e só quando o professor concorda com o ouro;
• ouro contestado: onde os rotuladores discordam (alvo máximo abaixo de 0,75), o alvo passa a ser o titan;
• escore de Brier contra o ouro, a regra de pontuação que dá nome ao modelo;
• consistência entre ordens: cada exemplo entra duas vezes no lote, com as opções embaralhadas de formas diferentes, e uma KL simétrica penaliza o aluno que muda de ideia só porque a ordem mudou;
• termo ordinal nas escalas.

O treino retoma o v5 (LoRA rank 16 nas 20 últimas camadas, 18,4M parâmetros), com 400 passos × 16 exemplos em 2× L40S, ~37 minutos. A mistura é 70% sintético, 10% públicos, 10% injeção e 10% B2W. O checkpoint foi escolhido pela acurácia no sintético limpo de validação, separada do teste.

5. O teto do teste sintético

Os rótulos do sintético vêm de votos de vários modelos, e em 189 das 779 perguntas os rotuladores discordam (concordância entre 55% e 72%). Ali o "ouro" é quase um sorteio, e nenhum modelo passa de 48%. Um modelo perfeito nas outras 590 ficaria em ~85% no teste inteiro.

Por isso a meta de 90% foi medida no subconjunto limpo, e o teste inteiro aparece sempre ao lado. Perseguir 90% no teste inteiro seria ensinar o modelo a acertar o lado arbitrário de rótulos contestados.

6. A cascata e o limiar

O titan sozinho faz 93,4% no limpo, mas custa um modelo de 122B por chamada e é fraco em escalas. A cascata usa cada um onde ele é bom. O aluno responde tudo. Quando a probabilidade da opção mais provável fica abaixo de um limiar numa pergunta de escolha ou sim/não, a resposta dessa pergunta passa a ser a do titan. Escalas nunca vão ao professor.

No teste, a cascata consulta o titan em 35,7% das perguntas do sintético e leva o limpo de 89,3% para 92,0%. Quando o professor está fora do ar, ou quando não há chave configurada, responde o aluno, e a resposta diz isso no campo cascata.falhas.

7. Testes com rótulo humano

No B2W, o Brier-0 vence o Jev em acerto e em escore de Brier, com intervalo de confiança favorável nos dois. A calibração também melhorou em relação ao v5: o erro de calibração (ECE) no sintético caiu de 0,055 para 0,028.

8. Limites

• A cascata envia o texto das perguntas incertas ao endpoint do professor. O padrão é o servidor GPU da Mangaba no Brasil. Para dados que não podem sair do ambiente, use zero-local.
• Latência: com o servidor aquecido, ~1 s por pedido no zero-local e ~2 s na cascata, nos pedidos que consultam o titan.
• Não medido no Brier-0: resistência a injeção e textos longos. Os números conhecidos dessas medições são do v5.
• Domínio do B2W: desde o v5, a parte de treino do B2W entra no treino, então o B2W é do mesmo domínio.
• Significância: a vantagem da cascata sobre o Jev no limpo (+0,5) não tem significância estatística.

9. Como usar

pip install "brier @ git+https://github.com/Mangaba-ai/brier"
huggingface-cli login                 # depois de o acesso a mangaba-ai/brier-zero ser aprovado
brier-serve --modelo zero-local --porta 8790
BRIER_PROFESSOR_CHAVE=... brier-serve --modelo zero --porta 8790   # cascata

O endpoint do professor é configurável (BRIER_PROFESSOR_URL, BRIER_PROFESSOR_MODELO, BRIER_LIMIAR_CASCATA) e aceita qualquer servidor compatível com a API da OpenAI que devolva logprobs. Planos e licenciamento em brier.mangaba.ia.br.