KI & Sprachmodelle

Token

Was ist ein Token? Die Grundeinheit, in der Large Language Models Text verarbeiten – Textfragmente, die statistisch häufig zusammen auftreten. Faustregel: 1 Token ≈ 4 Zeichen ≈ ¾ eines Wortes.

Praxisnutzen & Umsetzung