La importancia de la consistencia en productos basados en IA
Los sistemas de generación de contenido mediante IA son poderosos, pero también pueden resultar desconcertantes. Uno de los grandes retos cuando se trabaja con los modelos de lenguaje (LLMs) es la reproducibilidad, es decir obtener las mismas respuestas con las mismas preguntas. Si pruebas con ChatGPT, verás que a veces contesta de manera ligeramente distinta incluso cuando repites la misma consulta.
En teoría, hay configuraciones que deberían hacer las respuestas siempre iguales; bajando la temperatura a 0, o lo que es lo mismo, configurarlo para que siempre elija la palabra con mayor probabilidad. Pero en la práctica, ni siquiera ajustando el modelo para que “elija siempre lo mismo” se logra una consistencia total. Y esto no pasa solo en APIs comerciales, incluso ejecutando modelos en entornos controlados, las respuestas pueden variar.
Esta característica, implícita en los modelos de lenguaje, a veces puede ser una gran capacidad en algunas herramientas, pero en entornos de productividad a veces puede ser frustrante o incluso arriesgado para el producto.
Un reciente análisis técnico de Horace He en Thinking Machines exploró por qué los grandes modelos de lenguaje (LLM) no siempre son consistentes, incluso cuando se configuran para que lo sean. Según el artículo, pequeñas variaciones internas durante los cálculos pueden hacer que cambiar el orden de operaciones genere resultados ligeramente distintos. Por eso, la IA a veces no produce exactamente la misma respuesta. Sin embargo, en cálculos más simples y controlados, los resultados sí coinciden, por lo que la explicación completa es un poco más compleja. Aunque los detalles técnicos requieren conocimientos especializados, el artículo deja lecciones importantes de producto y experiencia de usuario que podemos aplicar sin necesidad de entrar en matemáticas.
La consistencia genera confianza…
Imagina una calculadora que, al escribir 2 + 2, a veces te da 4 y otras 3,999. Técnicamente es casi lo mismo, pero los usuarios perderían confianza en ella rápidamente.
Con los productos basados en IA ocurre lo mismo: si un cliente pide instrucciones, un texto legal o la descripción de un producto, y la respuesta cambia ligeramente cada vez, se genera duda sobre la fiabilidad del sistema. La consistencia es especialmente importante cuando, por ejemplo:
- Los clientes necesitan resultados repetibles (industrias reguladas o documentación de cumplimiento).
- Los equipos técnicos deben depurar o reproducir un problema reportado por un usuario
- Las marcas quieren controlar el tono, la voz y la precisión del lenguaje en distintos mercados.
…pero la creatividad necesita variedad
Por otro lado, la variedad no siempre es un error: a veces es una característica necesaria.
Si alguien usa IA para generar ideas de marketing, redactar borradores de historias o diseñar conceptos, espera una gama de respuestas. La predictibilidad en este caso se percibiría como plana y poco inspiradora. Los usuarios valoran cosas distintas según el contexto:
- En tareas creativas, la aleatoriedad se percibe como lúdica y valiosa.
- En tareas instructivas o factuales, la aleatoriedad se percibe falta de profesionalidad y un riesgo.
Transparencia del sistema y concesiones
A veces los resultados varían por factores fuera del control del usuario, como la carga del sistema. Si 100 personas usan la plataforma al mismo tiempo, la IA podría procesar las solicitudes de manera distinta que si solo hay un usuario. Así, la misma entrada puede producir resultados diferentes según la demanda. Este hecho normal para un ingeniero puede parecer un error para el usuario final si no se le explica.
Este principio de transparencia en los sistemas no es nuevo, precede a la IA y sigue siendo válido hoy. No hace falta ocultar esto a los usuarios. Por ejemplo, si la consistencia tomará más tiempo, dilo claramente mediante mensajes:
- «Procesando tu solicitud, esto puede tardar unos segundos…»
- «Generando una respuesta consistente, gracias por tu paciencia.»
- «Estamos verificando que los resultados sean precisos.»
Una comunicación clara reduce la frustración del usuario y establece las expectativas correctas, pero a menudo hay que hacer concesiones en la plataforma. Hacer que la IA sea determinista (siempre consistente) puede implicar que funcione más lenta, ya que habrá que realizar más procesos. En plataforma de uso casual o de consumo (B2C), la velocidad y el resultado inmediato suele ser prioritario, en entornos empresariales (B2B) o regulados, confiabilidad y la eficacia son más importantes.
La decisión de priorizar velocidad o confiabilidad no es técnica, es de diseño de producto: ¿quieres dar la respuesta ya, aunque varíe un poco, o prefieres que tarde más pero sea siempre la misma?
En StepAlong lo vemos a diario. Por ejemplo, el formateo de instrucciones a partir de texto o PDF, o la traducción de instrucciones de forma consistente, es fundamental: tanto marcas como clientes esperan que las piezas tengan siempre los mismos nombres y que las técnicas se adapten al mercado. Por eso el proceso de traducción no es inmediato, ya que la IA no solo debe entender el contexto de cada producto y la nomenclatura a utilizar, sino también respetar la terminología definida por cada empresa.
Que la IA sea aleatoria o determinista no es un hecho absoluto: es una decisión de diseño.
Dar control a los usuarios, comunicar con claridad y adaptar el comportamiento del sistema al contexto son los factores que construyen confianza y generan verdadero valor.