Token Counter

Om Tokenizers

Hvordan virker værktøjet?

Dette online værktøj anvender samme tokeniseringsmetode som GPT-4, GPT-4-turbo og GPT-3.5-turbo (ChatGPT) tokeniseringsværktøjet. Du skal blot indsætte den tekst, du ønsker at tokenisere, og værktøjet vil beregne antallet af tokens i teksten. På den måde kan du finde ud af, om du er over grænsen.

Hvad er OpenAI GPT tokens?

Tænk på tokens som byggestenene, som OpenAI GPT-modeller (som ChatGPT) bruger til at måle længden af en tekst. En token kan være en gruppe af tegn eller nogle gange et helt ord. Det kan også være et tegnsætningstegn eller en emoji. Derfor er antallet af tokens normalt anderledes end antallet af ord.

Hvordan tæller jeg tokens?

For at finde det præcise antal tokens i din tekst, skal du køre teksten gennem en tokeniser, som tæller alle tokens for dig. Bekymret for, at det lyder for teknisk? Bare rolig! Det er så let som at kopiere og indsætte din tekst i vores GPT-4 tokeniser ovenfor.

Hvad er forholdet mellem ord og tokens?

Hvert sprog har et forskelligt forhold mellem ord og tokens. 
Her er nogle generelle regler:

For engelsk: 1 ord er cirka 1,3 tokens
For dansk: 1 ord er cirka 2 tokens

Hvor mange tokens er tegnsætningstegn, specialtegn og emojis?

Hvert tegnsætningstegn (som ,:;?!) tæller som 1 token.
Specialtegn (som ∝√∅°¬) varierer fra 1 til 3 tokens
Emojis (som 😁🙂🤩) varierer fra 2 til 3 tokens.