Temperatura y Top-P: controlando la creatividad de la IA

Imagine dos músicos a los que se les dan las mismas notas iniciales. Uno es cauteloso, toca la siguiente nota más obvia cada vez, produciendo algo correcto pero predecible. El otro toma riesgos, ocasionalmente buscando una nota sorprendente que hace que la pieza cante, aunque de vez en cuando aterriza en un lugar extraño. La mayoría de las herramientas de IA tienen un dial oculto que decide qué tipo de músico se comporta su IA, y casi nadie fuera de los círculos técnicos sabe que existe. Una vez que lo sepa, obtendrá un control sorprendente sobre si su IA suena segura y confiable o audaz e inventiva.

Esta guía desmitifica dos configuraciones que encontrará en el momento en que pase de las herramientas de chat básicas: temperatura y top-p. Suenan intimidantes y suelen estar ocultas en menús avanzados, pero las ideas detrás de ellas son realmente sencillas y útiles. Al final, comprenderá qué hace cada dial, por qué subirlo hace que la salida sea más creativa y bajarlo la hace más enfocada, cuándo usar una configuración u otra, y cómo elegir valores sensatos sin ningún conocimiento técnico. Sin fórmulas, solo intuición que realmente puede aplicar.

Por qué la IA tiene un dial de creatividad

Para comprender estas configuraciones, ayuda saber una cosa sobre cómo la IA genera texto. Cuando un modelo escribe, no simplemente sabe la siguiente palabra. En cambio, en cada paso produce una lista clasificada de posibles siguientes palabras, cada una con una probabilidad adjunta. La palabra "tiempo" podría ser la más probable después de "hoy el", pero "mercado", "reunión" y "noticias" también son candidatas. Si desea la versión más profunda de esto, nuestra explicación sobre qué son los grandes modelos de lenguaje lo cubre bien.

La pregunta crucial es: ¿cómo elige el modelo de esa lista clasificada? Elegir siempre la palabra más probable haría que la salida fuera segura pero repetitiva y un poco robótica. Ocasionalmente, elegir palabras de menor rango agrega variedad y sorpresa, pero si se busca demasiado abajo en la lista, se obtiene un sin sentido. La temperatura y el top-p son los dos métodos para controlar cuán aventurera es esa elección. Son, en efecto, las perillas que ajustan el equilibrio entre previsibilidad y creatividad.

Temperatura: el dial de audacia

La temperatura es la más famosa de las dos y la más fácil de visualizar. Piense en ella como una configuración de audacia, que generalmente va de cero a alrededor de dos, aunque uno es el valor predeterminado común. Una temperatura baja hace que el modelo sea cauteloso. Favorece fuertemente la palabra más probable en cada paso, produciendo una salida enfocada, consistente y algo conservadora. Una temperatura alta nivela las diferencias entre las opciones, por lo que las palabras menos probables tienen una oportunidad más justa, produciendo un texto más variado, sorprendente y a veces más salvaje.

Una imagen mental útil: la temperatura baja es el editor cuidadoso que siempre elige la frase esperada, mientras que la temperatura alta es el compañero de lluvia de ideas que lanza ideas inesperadas, algunas brillantes, otras extrañas. En el extremo inferior, cerca de cero, el modelo se vuelve casi determinista, dándole casi la misma respuesta cada vez que pregunta. Si se sube mucho, la misma pregunta puede producir resultados maravillosamente diferentes en cada ejecución.

Cómo se sienten realmente los valores bajos y altos

A baja temperatura, pida una descripción del producto y obtendrá algo claro, preciso y un poco formulista. Ejecútelo tres veces y las tres versiones serán casi idénticas. A alta temperatura, la misma solicitud podría darle una versión juguetona, una versión poética y una versión peculiar, cada una distinta. Ninguna es mejor en abstracto; depende enteramente de si desea fiabilidad o variedad. Esta es una de las consideraciones prácticas detrás de obtener mejores respuestas de IA en general.

Top-p: el dial de "confiar en la lista corta"

Top-p, a veces llamado muestreo de núcleo, aborda el mismo objetivo desde un ángulo diferente. En lugar de ajustar la audacia con la que el modelo trata toda la lista, top-p decide cuánto de la lista considerar en primer lugar. Funciona manteniendo solo las palabras más probables cuyas probabilidades suman un porcentaje elegido, luego eligiendo de esa lista corta.

Supongamos que top-p se establece en noventa por ciento. El modelo reúne a los principales candidatos hasta que su probabilidad combinada alcanza el noventa por ciento, descarta la cola larga de palabras poco probables por completo y elige entre lo que queda. Un top-p bajo, digamos punto tres, mantiene solo una lista corta muy pequeña y muy probable, lo que produce una salida segura y enfocada. Un top-p alto cercano a uno mantiene casi todo, lo que permite opciones más aventureras. La parte inteligente es que la lista corta se redimensiona: cuando el modelo está muy seguro, la lista es corta; cuando está incierto, la lista crece. Eso hace que top-p sea una forma ligeramente más adaptable de controlar la variedad.

¿Deberías cambiar ambos a la vez?

Aquí está el consejo práctico que evita mucha confusión: elige un dial y deja el otro en su valor predeterminado. Debido a que la temperatura y el top-p controlan la aleatoriedad, subir ambos a la vez acumula el efecto y puede llevar la salida a la incoherencia. La mayoría de los usuarios experimentados ajustan la temperatura y dejan el top-p solo, u ocasionalmente al revés, pero rara vez ambos juntos. Si no recuerdas nada más, recuerda cambiar uno a la vez y observar el resultado antes de tocar cualquier otra cosa.

Cuando experimentes, hazlo en pequeños pasos. La diferencia entre una temperatura de cero coma siete y cero coma nueve es significativa; saltar directamente de cero coma dos a uno coma ocho te dice poco, excepto que un extremo es aburrido y el otro caótico. Trátalo como condimento: una pizca a la vez hasta que el sabor sea el adecuado.

Puntos de partida sensatos

No es necesario memorizar números, pero algunas guías generales ayudan. Para tareas donde la precisión y la consistencia son lo más importante, como resumir un documento, extraer cifras, responder preguntas fácticas o cualquier cosa que vaya a reutilizar, apunte bajo: una temperatura alrededor de cero coma dos a cero coma cuatro. Para una escritura diaria equilibrada, como correos electrónicos, explicaciones y borradores generales, el valor predeterminado de alrededor de cero coma siete funciona bien. Para trabajos genuinamente creativos, como la lluvia de ideas de nombres, la redacción de textos juguetones o la generación de muchas opciones variadas, suba más, quizás de cero coma nueve a uno coma dos.

Estos son puntos de partida, no reglas. El valor correcto depende de su tarea y su gusto, y el único método fiable es probar una configuración, leer la salida y ajustar. La buena noticia es que este tipo de ajuste fino se vuelve intuitivo rápidamente. Después de un puñado de experimentos, sabrá instintivamente si una tarea requiere una mano firme o un poco de estilo. Saber qué modelo está utilizando también importa, ya que los valores predeterminados y el comportamiento varían, lo cual es parte de elegir el modelo de IA adecuado.

Dónde encontrará realmente estos diales

Si solo utiliza un asistente de chat sencillo, es posible que nunca vea estas configuraciones, y eso está bien. Se vuelven visibles en el momento en que utiliza interfaces más avanzadas, entornos de desarrolladores o herramientas que conectan la IA a sus propios sistemas. También importan mucho en los flujos de trabajo automatizados, donde desea que la salida sea predecible en lugar de sorprendente. Si se dirige en esa dirección, nuestra guía para construir su primer agente de IA y nuestro artículo sobre herramientas de IA para empresas abordan por qué la consistencia a menudo supera a la creatividad una vez que una tarea se ejecuta sin la supervisión humana.

Para un trabajo de indicaciones más sofisticado, estos diales se encuentran junto con las técnicas de nuestra guía de técnicas avanzadas de indicaciones. Una indicación inteligente establece la dirección; la temperatura y el top-p establecen el estado de ánimo. Utilizados juntos, le dan un control mucho más fino que las palabras de la indicación por sí solas.

Algunas precauciones honestas

Primero, una mayor creatividad no es gratuita. A medida que sube los diales, la salida se vuelve menos predecible, lo cual es delicioso para la lluvia de ideas y arriesgado para cualquier cosa que deba ser precisa. Una configuración alta puede hacer que un modelo sea más propenso a desviarse hacia detalles inventados, por lo que para el trabajo fáctico, mantenga las cosas bajas. Segundo, estas configuraciones afectan la variedad, no la inteligencia. Una temperatura alta no hace que el modelo sea más inteligente; solo lo hace menos repetitivo. Si una respuesta es incorrecta a baja temperatura, aumentarla no la hará correcta, solo más coloridamente incorrecta.

Finalmente, recuerde que los valores predeterminados existen por una razón. Las configuraciones estándar en la mayoría de las herramientas se eligen para adaptarse a una amplia gama de tareas cotidianas, por lo que realmente no necesita jugar a menos que la salida se sienta demasiado rígida o demasiado aleatoria. Trate estos diales como un refinamiento, no como una tarea. Están ahí cuando los necesita y discretamente sensatos cuando no. Si desea orientación sobre cómo configurar herramientas de IA para obtener resultados fiables en su negocio, le invitamos a ponerse en contacto.

Preguntas frecuentes

Referencias

1. OpenAI. "Documentación sobre muestreo de temperatura y top-p." platform.openai.com.
2. Google Cloud. "Controlar la salida del modelo y los parámetros de muestreo." cloud.google.com.
3. IBM. "¿Qué es el muestreo de núcleo (top-p)?" ibm.com.