La importància de la consistència en productes basats en IA

Els sistemes de generació de contingut mitjançant IA són poderosos, però també poden resultar desconcertants. Un dels grans reptes quan es treballa amb els models de llenguatge (LLMs) és la reproductibilitat, és a dir obtenir les mateixes respostes amb les mateixes preguntes. Si proves amb ChatGPT, veuràs que de vegades contesta de manera lleugerament diferent fins i tot quan repeteixes la mateixa consulta.

En teoria, hi ha configuracions que haurien de fer les respostes sempre iguals; baixant la temperatura a 0, o el que és el mateix, configurar-lo perquè sempre esculli la paraula amb més probabilitat. Però a la pràctica, ni tan sols ajustant el model perquè “esculli sempre el mateix” s'aconsegueix una consistència total. I això no passa només en API comercials, fins i tot executant models en entorns controlats, les respostes poden variar.

Aquesta característica, implícita als models de llenguatge, de vegades pot ser una gran capacitat en algunes eines, però en entorns de productivitat de vegades pot ser frustrant o fins i tot arriscat per al producte.

Un recent anàlisi tècnica d'Horace He a Thinking Machines va explorar per què els grans models de llenguatge (LLM) no sempre són consistents, fins i tot quan es configuren perquè ho siguin. Segons l'article, petites variacions internes durant els càlculs poden fer canviar l'ordre d'operacions generi resultats lleugerament diferents. Per això, la IA de vegades no produeix exactament la mateixa resposta. No obstant això, en càlculs més simples i controlats, els resultats sí que coincideixen, per la qual cosa l'explicació completa és una mica més complexa. Encara que els detalls tècnics requereixen coneixements especialitzats, larticle deixa lliçons importants de producte i experiència dusuari que podem aplicar sense necessitat dentrar en matemàtiques.

La consistència genera confiança…

Imagina una calculadora que, en escriure 2 + 2, de vegades te'n dóna 4 i altres 3,999. Tècnicament és gairebé el mateix, però els usuaris hi perdrien confiança ràpidament.

Amb els productes basats en IA passa el mateix: si un client demana instruccions, un text legal o la descripció d'un producte, i la resposta canvia lleugerament cada cop, es genera dubte sobre la fiabilitat del sistema. La consistència és especialment important quan, per exemple:

• Els clients necessiten resultats repetibles (indústries regulades o documentació de compliment).
• Els equips tècnics deuen depurar o reproduir un problema reportat per un usuari
• Les marques volen controlar el to, la veu i la precisió del llenguatge en diferents mercats.

…però la creativitat necessita varietat

Per altra banda, la varietat no sempre és un error: de vegades és una característica necessària.
Si algú fa servir IA per generar idees de màrqueting, redactar esborranys d'històries o dissenyar conceptes, espera una gamma de respostes. La predictibilitat en aquest cas es percebria com a plana i poc inspiradora. Els usuaris valoren coses diferents segons el context:

• En tasques creatives, l'aleatorietat es percep com a lúdica i valuosa.
• En tasques instructives o factuals, l'aleatorietat es percep manca de professionalitat i risc.

Transparència del sistema i concessions

De vegades els resultats varien per factors fora del control de lusuari, com la càrrega del sistema. Si 100 persones usen la plataforma alhora, la IA podria processar les sol·licituds de manera diferent que si només hi ha un usuari. Així, la mateixa entrada pot produir resultats diferents segons la demanda. Aquest fet normal per a un enginyer pot semblar un error per a l'usuari final si no se us explica.

Aquest principi de transparència en els sistemes no és nou, precedeix la IA i avui continua sent vàlid. No cal amagar això als usuaris. Per exemple, si la consistència prendrà més temps, digues-ho clarament mitjançant missatges:

• «Processant la teva sol·licitud, això pot trigar uns segons…»
• «Generant una resposta consistent, gràcies per la teva paciència.»
• «Estem verificant que els resultats siguin necessaris.»

Una comunicació clara redueix la frustració de l'usuari i estableix les expectatives correctes, però sovint cal fer concessions a la plataforma. Fer que la IA sigui determinista (sempre consistent) pot implicar que funcioni més lenta, ja que caldrà fer més processos. A la plataforma d'ús casual o de consum (B2C), la velocitat i el resultat immediat sol ser prioritari, en entorns empresarials (B2B) o regulats, confiança i l'eficàcia són més importants.

La decisió de prioritzar velocitat o confiança no és tècnica, és de disseny de producte: vols donar la resposta ja, encara que variï una mica, o prefereixes que trigui més però sigui sempre la mateixa?

A StepAlong ho veiem diàriament. Per exemple, el format d'instruccions a partir de text o PDF, o la traducció d'instruccions de manera consistent, és fonamental: tant marques com a clients esperen que les peces tinguin sempre els mateixos noms i que les tècniques s'adaptin al mercat. Per això el procés de traducció no és immediat, ja que la IA no només ha d'entendre el context de cada producte i la nomenclatura que cal utilitzar, sinó també respectar la terminologia definida per cada empresa.

Que la IA sigui aleatòria o determinista no és un fet absolut: és una decisió de disseny.
Donar control als usuaris, comunicar amb claredat i adaptar el comportament del sistema al context són els factors que construeixen confiança i generen veritable valor.

 

Més entrades de Disseny