📌El AI Drop de la semana: ¿pierde el AI atención cuando tenemos conversaciones largas?
En algún momento nos ha pasado que después de una larga conversación Claude o ChatGPT, la calidad de las repuestas se van deteriorando.
Esto es un fenómeno común, y uno de los principales factores se explica en este artículo de la Universidad de Cornell. El efecto de “Lost in the midddle”
https://arxiv.org/abs/2307.03172
En el AI Drop de está semana comentados cuál es el efecto que largas conversaciones pueden tener en los LLMs.
Y como una compresión intuitiva de la “ventana de contexto” nos puede ayudar a adelantarnos a que la conversación de deteriore silenciosamente.
La intuición: el contexto no es infinito ni uniforme. Hay que tratarlo como un recurso escaso y administrar activamente qué queda “al medio” de la conversación.
Dejo la nota por acá. #AIDrops #InteligenciaArtificial #IntuitivaAccesible