Con la reciente llegada de los nuevos modelos de Anthropic, la expectativa en nuestra comunidad ha sido enorme. Por eso, en cuanto Amazon los puso a disposición a través de Bedrock, nos pusimos manos a la obra para integrarlos en nuestro Framework y explorar todo su potencial.
Tipologías de modelos y casos de uso
Para entender la relevancia de esta actualización, es crucial explicar brevemente las tipologías de modelos y cómo los usamos:
1. Modelos rápidos y económicos, con capacidades de razonamiento limitadas.
2. Modelos más lentos y costosos, pero con una capacidad de razonamiento mucho más avanzada, con un coste de 5 a 10 veces mayor.
En tareas como RAGs (retrieval-augmented generation), los modelos más sencillos suelen ser suficientes, siempre que trabajemos bien el proceso de indexado en el Vector Store. Sin embargo, al abordar arquitecturas más complejas, como agentes que requieren razonamiento avanzado o generación de consultas SQL, estos modelos suelen quedarse cortos.
Por ejemplo, en la creación de agentes SQL, los modelos rápidos y económicos pueden fallar, no necesariamente porque no lleguen a la respuesta, sino porque requieren múltiples iteraciones de prueba y error, lo que puede resultar en consultas subóptimas para casos de complejidad media a alta. Hasta hace poco, esto nos obligaba a recurrir a modelos más potentes para garantizar resultados fiables.
Un cambio de juego con Haiku 3.5
En los últimos meses hemos notado mejoras significativas en la capacidad de razonamiento de los modelos más económicos. Un buen ejemplo es gpt-4o-mini, que, a pesar de entrar en esta categoría de modelos “sencillos”, se ha mostrado capaz de manejar una amplia gama de necesidades, incluyendo agentes SQL.
Sin embargo, en Bedrock, enfrentábamos limitaciones con el modelo anterior de Haiku. Aunque era rápido y barato, su desempeño en consultas SQL o tareas de razonamiento no era óptimo, lo que nos llevaba a optar por el modelo Sonnet en esos casos.
Con la llegada de Haiku 3.5, las reglas del juego han cambiado. Este modelo no solo genera consultas SQL de forma excepcional, sino que también se maneja muy bien en agentes con niveles moderados de complejidad. Para procesos más complejos, como sistemas multiagentes con numerosos tools, seguimos utilizando Sonnet, pero Haiku 3.5 se ha convertido en una opción preferida para la mayoría de los casos.
¿Qué resultados hemos obtenido?
Aunque no hemos realizado comparativas exhaustivas, nuestras pruebas empíricas con Haiku 3.5 nos han dejado encantados. Estas son nuestras conclusiones preliminares:
- Versatilidad en dialectos SQL: Haiku 3.5 genera consultas SQL claras y estructuradas en diversos dialectos como Oracle, SQL Server y Databricks SQL sin problemas.
- Menos iteraciones necesarias: Mientras que Sonnet ocasionalmente requería 2 o 3 iteraciones para perfeccionar una consulta, Haiku 3.5 logra resultados precisos en el primer intento.
- Coste reducido: Haiku 3.5 es tres veces más barato que Sonnet, lo que lo posiciona como una opción altamente eficiente en términos de coste-rendimiento. Aunque su precio es mayor que el de su versión anterior, el salto de capacidad lo justifica ampliamente.
Comparativa de costes
Tomando como referencia los precios publicados en AWS Bedrock Pricing, observamos que:
Imagen extraída de https://aws.amazon.com/bedrock/pricing/
- Haiku 3.5 es significativamente más barato que Sonnet, y aunque tiene un coste mayor que el antiguo Haiku 3, la mejora en potencia es notable.
- Opus, un modelo de altísimo rendimiento, sigue disponible, pero aún no hemos tenido oportunidad de evaluarlo a fondo.
Conclusión
Haiku 3.5 ha escalado rápidamente en nuestra lista de modelos preferidos por su equilibrio entre coste y rendimiento. Para la mayoría de los casos de uso, este modelo es una opción ideal, dejando a Sonnet y otros modelos superiores como alternativas para escenarios específicos que requieran una potencia adicional.
Os animamos a probar Haiku 3.5 y descubrir por vosotros mismos cómo puede optimizar vuestros procesos. Estamos seguros de que será un recurso valioso en vuestro arsenal de herramientas.