Technik
Token
Die kleinste Einheit die ein LLM verarbeitet — ungefähr ein Wort oder Wortteil
Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells. Grob gesagt entspricht ein Token einem Wort oder Wortteil — auf Englisch etwa 0,75 Wörter pro Token, auf Deutsch oft weniger (da deutsche Wörter länger sind).
Warum Tokens wichtig sind
- Kosten: KI-APIs berechnen nach Anzahl der Tokens (Input + Output)
- Kontextfenster: Modelle haben ein Maximum an Tokens die sie gleichzeitig verarbeiten können (z.B. 200.000 bei Claude)
- Geschwindigkeit: Mehr Tokens = längere Verarbeitungszeit
Beispiele
- “Automatisierung” = ~3-4 Tokens
- “KI” = 1 Token
- Ein langer Artikel (2000 Wörter) ≈ 3000-4000 Tokens
Kontextfenster
Das Kontextfenster bestimmt wieviel Text ein Modell “im Kopf behalten” kann — eigene Nachrichten, Systemanweisungen und Dokumente zusammen.