La Trituradora

El TokenizerVisualizer permite visualizar el proceso de tokenización utilizado por modelos como GPT-4. Visualiza la relación entre texto, tokens y bytes de forma interactiva.

Demo Interactiva

Cargando demo interactiva...

Integración vía Iframe

Utiliza este código para integrar la trituradora de textos:

<iframe
  src="https://ialearner.com/embed/trituradora?theme=dark"
  width="100%"
  height="700"
  style="border:none; border-radius: 12px; overflow: hidden;"
></iframe>

Parámetros de URL

Parámetro	Tipo	Default	Descripción
theme	'light' | 'dark'	'light'	Esquema de colores.

Capacidades Técnicas

• Mapping en Tiempo Real: Ver la relación exacta entre el carácter y su ID de token.
• Análisis de Bytes: Desglose de la codificación UTF-8 para cada fragmento.
• Estadísticas: Conteo de tokens, caracteres y ratio de compresión.