Token Zähler — GPT-4o & GPT-4 Tokens genau zählen und visualisieren (kostenlos)

So verwendest du es

1. Wähle ein Modell (GPT-4o, GPT-4, GPT-3.5) — dies legt die Tokenizer-Kodierung fest.
2. Füge deinen Prompt in das Textfeld ein oder tippe ihn ein. Token-Zahl und Zeichenzahl aktualisieren sich in Echtzeit.
3. Die Farbvisualisierung zeigt, wie der Text in Tokens aufgeteilt wird. Jeder Chip ist ein Token. Leerzeichen erscheinen als · und Zeilenumbrüche als ↵.
4. Verwende 'Leeren' zum Zurücksetzen oder 'Kopieren' zum Kopieren des Textes.
5. Optional: Klappe 'Kostenschätzung' auf und gib den Preis pro 1 000 Tokens ein, um einen ungefähren API-Kostenrichtwert zu berechnen.
6. Keine Installation, keine Anmeldung — dein Text wird nie hochgeladen. Der Tokenizer läuft vollständig in deinem Browser.

Was ist ein Token?

Ein Token ist die Grundeinheit, mit der LLMs wie GPT Text verarbeiten. Wörter werden in Teilwörter aufgeteilt, sodass ein einzelnes Wort ein oder mehrere Tokens sein kann. Im Englischen entspricht ein Token durchschnittlich etwa 4 Zeichen oder 0,75 Wörtern — aber das ist nur ein grober Richtwert. Die tatsächliche Anzahl hängt vom jeweiligen Text, der Sprache und der Kodierung ab. Dieses Tool verwendet den echten Tokenizer, um dir die exakte Zahl zu liefern, nicht eine Schätzung.

Modell-Kodierungen: cl100k_base und o200k_base

Verschiedene GPT-Modelle verwenden unterschiedliche Tokenizer-Kodierungen. GPT-4 und GPT-3.5 verwenden cl100k_base, während GPT-4o und GPT-4o mini das neuere o200k_base verwenden, das für mehrsprachigen Text effizienter ist. Derselbe Text kann je nach Kodierung eine andere Token-Anzahl haben — verwende den Modell-Selektor zum Vergleich. Hinweis: Dieses Tool deckt nur OpenAI-GPT-Modelle ab. Claude, Gemini und andere Modelle verwenden andere Tokenizer, daher weichen deren Token-Zahlen ab.

Die Token-Visualisierung lesen

Jeder farbige Chip steht für genau einen Token. Benachbarte Tokens wechseln die Farbe, damit du siehst, wo einer endet und der nächste beginnt. Leerzeichen innerhalb eines Tokens werden als · angezeigt, Zeilenumbrüche als ↵. Erzeugt dein Text mehr als 2 000 Tokens, werden nur die ersten 2 000 Chips gezeichnet, aber die angezeigte Gesamtanzahl ist immer exakt.

Zeichen, Wörter und Tokens

Die Zeichenzahl ist die Anzahl der Unicode-Codepunkte (Emoji und CJK-Zeichen zählen jeweils als eins). Die Wortzahl ist die Anzahl der Folgen aus Buchstaben oder Ziffern — sinnvoll nur für durch Leerzeichen getrennte Sprachen. Die Token-Zahl ist anders: Es ist die tatsächliche Anzahl der BPE-Tokens, die das LLM sieht, und bestimmt die API-Kosten und die Nutzung des Kontextfensters.

Anwendungsfälle

Prompt-Verwaltung und Kontextfenster-Grenzen

Füge deinen vollständigen Prompt ein, um zu prüfen, ob er innerhalb des Kontextfensters des Modells bleibt (z. B. 128 000 Tokens bei GPT-4o). Wenn du nahe der Grenze bist, kürze deinen Prompt, bis die Zahl komfortabel darunter liegt.

API-Kosten schätzen

API-Kosten werden pro Token berechnet. Gib deinen Text ein, notiere die Token-Zahl und multipliziere sie mit dem Eingabe-Token-Preis für eine grobe Kostenschätzung. Klappe das 'Kostenschätzung'-Panel auf und gib den Preis pro 1 000 Tokens ein. Der tatsächliche Preis hängt vom Modell, ob Tokens Ein- oder Ausgabe sind, und dem aktuellen OpenAI-Preis ab — überprüfe immer die offizielle Preisseite.

Token-Effizienz zwischen Sprachen vergleichen

Derselbe Sinn, ausgedrückt auf Japanisch, Chinesisch oder Koreanisch, verwendet normalerweise mehr Tokens als auf Englisch, weil nicht-lateinische Schriften weniger kompakt von BPE kodiert werden. Die o200k_base-Kodierung von GPT-4o verbessert die Mehrsprachigkeitseffizienz gegenüber cl100k_base — probiere den Modellwechsel aus, um den Unterschied bei deinem Text zu vergleichen.

Häufig gestellte Fragen

Ist die Token-Zahl genau?

Ja, für die unterstützten Modelle. Dieses Tool verwendet denselben echten Tokenizer (BPE), den OpenAIs GPT-4o, GPT-4 und GPT-3.5 intern verwenden, sodass die Zahl dem entspricht, was die API berechnet. Es ist keine Näherung wie 'Zeichen geteilt durch 4'.

Warum ändert sich die Token-Zahl beim Modellwechsel?

GPT-4o und GPT-4o mini verwenden die o200k_base-Kodierung, während GPT-4 und GPT-3.5 cl100k_base verwenden. Diese Kodierungen haben unterschiedliche Vokabulare, sodass derselbe Text anders aufgeteilt wird und eine unterschiedliche Token-Anzahl erzeugen kann.

Kann ich Tokens für Claude oder Gemini zählen?

Nein. Dieses Tool unterstützt nur OpenAI-GPT-Modelle (GPT-4o, GPT-4, GPT-3.5). Claude, Gemini und andere Modelle verwenden ihre eigenen proprietären Tokenizer, daher gelten die Zahlen hier nicht für sie.

Wird mein Text an einen Server gesendet?

Nein. Die Tokenizer-Bibliothek ist in der Seite gebündelt und läuft vollständig in deinem Browser. Dein Text verlässt nie dein Gerät — nichts wird hochgeladen oder gespeichert.

Warum verwenden Japanisch, Chinesisch und Koreanisch mehr Tokens?

BPE-Tokenizer teilen Text in Teilwort-Stücke auf. Lateinische Zeichensätze werden kompakter kodiert, während CJK-Zeichen in der Regel mehr Tokens pro Zeichen belegen. Die neuere o200k_base-Kodierung (GPT-4o) verbessert dies im Vergleich zu cl100k_base.

Kann ich meine API-Kosten hier schätzen?

Du kannst eine grobe Schätzung erhalten. Klappe den Bereich 'Kostenschätzung' auf und gib den Eingabe-Token-Preis in Dollar pro 1 000 Tokens ein. Das Tool multipliziert die Token-Zahl mit diesem Preis. Die tatsächlichen Kosten hängen vom konkreten Modell, ob Tokens Ein- oder Ausgabe sind, und dem aktuellen OpenAI-Preis ab — überprüfe immer die offizielle Preisseite.

Benötige ich einen API-Schlüssel?

Nein. Der Tokenizer läuft vollständig in deinem Browser mit den gebündelten Tokenizer-Daten. Es werden keine OpenAI-API-Aufrufe gemacht.