Sam Altman critica la IA local por el desperdicio de memoria DRAM

Sam Altman, CEO de OpenAI, ha cuestionado la tendencia de los usuarios de ejecutar modelos de inteligencia artificial de forma local en sus propios ordenadores. Durante una intervención en el podcast Cheeky Pint, conducido por John Collison, Altman calificó esta práctica como una terrible asignación de recursos en un contexto global marcado por la escasez crítica de memoria DRAM.

El impacto de la inferencia local en la disponibilidad de memoria

Según el directivo, la mayoría de los ordenadores personales utilizan apenas el 5% de su capacidad de memoria de forma constante. En un mercado donde la oferta de DRAM es limitada y los precios han experimentado un incremento significativo, Altman argumenta que esta capacidad debería concentrarse en los centros de datos, donde la utilización es máxima y optimizada para las necesidades de los grandes modelos de lenguaje.

La escasez de este componente es un desafío global, ya que fabricantes como Micron, Samsung y SK Hynix enfrentan dificultades para escalar la producción al ritmo que demandan los hiperescaladores. Esta falta de suministro ha provocado que la capacidad mundial, en lugar de destinarse a equipos caseros, sea priorizada para la creación de memoria HBM destinada a la infraestructura en la nube.

Estrategias frente a la escasez de cómputo

Altman sostiene que el mercado no está respondiendo con la suficiente agilidad inversora a pesar de los beneficios registrados por los fabricantes de chips. Ante esta situación, OpenAI y otras grandes tecnológicas están optando por el desarrollo de chips propios, una estrategia que permite optimizar el consumo de hardware mediante diseños a medida, como el caso de la colaboración entre OpenAI y Broadcom.

Aunque el propio Altman reconoció en el pasado el valor del código abierto, su postura actual se centra en la eficiencia del sistema global. Mientras tanto, una parte de los usuarios sigue apostando por la IA local buscando ventajas en términos de privacidad, autonomía sin conexión a internet o control absoluto sobre los datos procesados, independientemente de las limitaciones de hardware que impone la industria actual.