Contador de Tokens — Conte Tokens do GPT-4o e GPT-4 com Precisão (Grátis)

Como usar

1. Selecione um modelo (GPT-4o, GPT-4, GPT-3.5) — isso define a codificação do tokenizador.
2. Cole ou digite seu prompt na área de texto. A contagem de tokens e caracteres se atualiza em tempo real.
3. A visualização colorida mostra como o texto é dividido em tokens. Cada chip é um token. Espaços aparecem como · e quebras de linha como ↵.
4. Use 'Limpar' para reiniciar ou 'Copiar' para copiar o texto.
5. Opcionalmente, expanda 'Estimativa de custo' e insira o preço por 1 000 tokens para calcular um custo aproximado de API.
6. Sem instalação, sem cadastro — seu texto nunca é enviado. O tokenizador roda inteiramente no seu navegador.

O que é um token?

Um token é a unidade básica que LLMs como o GPT usam para processar texto. Palavras são divididas em subpalavras, então uma única palavra pode ser um ou vários tokens. Em inglês, um token equivale aproximadamente a 4 caracteres ou 0,75 palavras — mas é apenas uma estimativa. A contagem real depende do texto específico, do idioma e da codificação. Esta ferramenta usa o tokenizador real para fornecer a contagem exata, não uma aproximação.

Codificações: cl100k_base e o200k_base

Diferentes modelos GPT usam diferentes codificações de tokenizador. GPT-4 e GPT-3.5 usam cl100k_base, enquanto GPT-4o e GPT-4o mini usam o mais recente o200k_base, mais eficiente para texto multilíngue. O mesmo texto pode ter uma contagem de tokens diferente dependendo da codificação — use o seletor de modelo para comparar. Observação: esta ferramenta cobre apenas os modelos OpenAI GPT. Claude, Gemini e outros modelos usam tokenizadores diferentes, portanto suas contagens de tokens diferirão.

Como ler a visualização de tokens

Cada chip colorido representa exatamente um token. Tokens adjacentes alternam cores para que você possa ver onde um termina e o próximo começa. Espaços dentro de um token são exibidos como · e quebras de linha como ↵. Se seu texto produz mais de 2 000 tokens, apenas os primeiros 2 000 chips são desenhados, mas a contagem total mostrada é sempre exata.

Caracteres, palavras e tokens

A contagem de caracteres é o número de pontos de código Unicode (emoji e caracteres CJK contam como um). A contagem de palavras é o número de sequências de letras ou dígitos — útil apenas para idiomas separados por espaços. A contagem de tokens é diferente de ambas: é o número real de tokens BPE que o LLM vê e o que determina o custo da API e o uso da janela de contexto.

Casos de uso

Gerenciamento de prompts e limites de janela de contexto

Cole seu prompt completo para verificar se cabe dentro da janela de contexto do modelo (por exemplo, 128 000 tokens para GPT-4o). Se estiver próximo do limite, reduza seu prompt até que a contagem fique confortavelmente abaixo dele.

Estimativa de custos de API

O custo da API é cobrado por token. Insira seu texto, anote a contagem de tokens e multiplique pelo preço do token de entrada para obter uma estimativa aproximada de custo. Expanda o painel 'Estimativa de custo' e insira o preço por 1 000 tokens. O preço real depende do modelo, se os tokens são de entrada ou saída e do preço atual da OpenAI — sempre verifique na página oficial de preços.

Comparando eficiência de tokens entre idiomas

O mesmo significado expresso em japonês, chinês ou coreano normalmente usa mais tokens do que em inglês, porque scripts não latinos são codificados com menos compactação pelo BPE. A codificação o200k_base do GPT-4o melhora a eficiência multilíngue em comparação com cl100k_base — tente alternar os modelos para comparar a diferença no seu texto.

Perguntas frequentes

A contagem de tokens é precisa?

Sim, para os modelos compatíveis. Esta ferramenta usa o mesmo tokenizador real (BPE) que os modelos GPT-4o, GPT-4 e GPT-3.5 da OpenAI usam internamente, então a contagem corresponde ao que a API cobra. Não é uma aproximação como 'caracteres divididos por 4'.

Por que a contagem de tokens muda ao trocar de modelo?

GPT-4o e GPT-4o mini usam a codificação o200k_base, enquanto GPT-4 e GPT-3.5 usam cl100k_base. Essas codificações têm vocabulários diferentes, então o mesmo texto é dividido de forma diferente e pode produzir um número diferente de tokens.

Posso contar tokens para Claude ou Gemini?

Não. Esta ferramenta suporta apenas modelos OpenAI GPT (GPT-4o, GPT-4, GPT-3.5). Claude, Gemini e outros modelos usam seus próprios tokenizadores proprietários, então as contagens aqui não se aplicam a eles.

Meu texto é enviado para algum servidor?

Não. A biblioteca do tokenizador está incluída na página e roda inteiramente no seu navegador. Seu texto nunca sai do seu dispositivo — nada é enviado ou armazenado.

Por que japonês, chinês e coreano usam mais tokens?

Os tokenizadores BPE dividem o texto em peças de subpalavras. Scripts de caracteres latinos são codificados com mais compactação, enquanto caracteres CJK geralmente mapeiam para mais tokens por caractere. A codificação o200k_base mais recente (GPT-4o) melhora isso em relação ao cl100k_base.

Posso estimar meu custo de API aqui?

Você pode obter uma estimativa aproximada. Expanda a seção 'Estimativa de custo' e insira o preço do token de entrada em dólares por 1 000 tokens. A ferramenta multiplica a contagem de tokens por esse preço. O custo real depende do modelo específico, se os tokens são de entrada ou saída e do preço atual da OpenAI — sempre verifique na página oficial de preços.

Preciso de uma chave de API?

Não. O tokenizador roda inteiramente no seu navegador usando os dados do tokenizador incluídos. Nenhuma chamada à API da OpenAI é feita.