La Chine face au défi de l'inférence IA : HBM ou puces spécialisées ?

Fin 2025, la mémoire HBM (High Bandwidth Memory) était devenue la technologie dominante pour l'inférence en IA, car le décodage des modèles est limité par la bande passante mémoire. Depuis, le marché a évolué et aucune architecture unique ne s'impose plus : certaines puces sont optimisées pour l'entraînement, d'autres pour le préremplissage (prefill) ou le décodage (decode). Cet article de ChinaTalk s'interroge sur la stratégie chinoise face à cette diversification, alors que les exportations américaines restreignent l'accès aux HBM haut de gamme. Pour la Chine, l'enjeu est de trouver des alternatives : empiler des puces classiques, développer des mémoires à large bande passante locales, ou concevoir des accélérateurs spécialisés par phase d'inférence. Ces choix détermineront la compétitivité des fournisseurs de cloud et des startups IA chinoises, qui doivent déployer des modèles à grande échelle malgré les sanctions. L'absence de solution claire pourrait freiner la généralisation des applications d'IA générative en Chine.