Token
¿Qué es un token?
Un token es la unidad mínima de texto que un modelo de lenguaje procesa; puede ser una palabra, una parte de palabra o incluso un signo.
Definición extensa:
Los tokens son fragmentos de texto en que se divide una entrada antes de ser procesada por un modelo de lenguaje como GPT. Por ejemplo, la palabra ‘cantábamos’ podría dividirse en los tokens ‘canta’, ‘bamos’. Los modelos actuales, como GPT-4, tienen límites de tokens por entrada y respuesta. El número de tokens afecta el costo computacional y la capacidad del modelo para manejar contexto. OpenAI y otros ofrecen herramientas para contar tokens y optimizar su uso.