Nvidia ha dado un paso estratégico en el sector de la inteligencia artificial con el lanzamiento de Nemotron 3.5 Lightning, un modelo de pesos abiertos diseñado específicamente para el despliegue de agentes de IA. Junto a este modelo, la compañía ha presentado NeMo Switchyard, una herramienta de código abierto enfocada en la gestión eficiente y la reducción de costes operativos al ejecutar sistemas de IA a gran escala.
Eficiencia y rendimiento en local
El modelo Nemotron 3.5 Lightning destaca por su ligereza, permitiendo su ejecución en una única GPU de un PC convencional. A diferencia de los modelos de chat de propósito general, este sistema está optimizado para tareas especializadas dentro de arquitecturas multiagente. Según los datos técnicos, el modelo ofrece una velocidad de respuesta hasta cuatro veces superior y completa tareas un 30% más rápido que otros modelos abiertos similares. Su creación se ha basado en la técnica de destilación, permitiendo condensar capacidades de modelos de mayor envergadura en un formato más eficiente.Optimización de costes con NeMo Switchyard
Por otro lado, NeMo Switchyard actúa como un orquestador inteligente. Esta herramienta analiza cada petición para determinar qué modelo es el más adecuado según el nivel de precisión requerido y el coste asociado. Al priorizar el uso de recursos, la herramienta permite reducir el gasto operativo a un tercio en comparación con el uso exclusivo de modelos de pago de alta capacidad. Esta solución ya ha sido integrada por empresas como CrowdStrike y CodeRabbit para sus flujos de trabajo internos.
!Advertencia! Tenemos problemas...
Debes iniciar sesión para poder comentar.. Iniciar sesión o Registrarme