La mémoire d’abord
En octobre 2026, un fabricant de DRAM a décrit le passage à une cellule mémoire plus petite, dite 4F², et les gros titres en ont fait 50 % de mémoire en plus. Notre rapport de synthèse sur la cellule DRAM 4F² expose ce que donne la géométrie et ce qui n’a pas été montré : la cellule est plus petite d’un tiers, la puce entière gagne moins, et aucun fabricant n’a publié de rendement ni de coût pour un produit.
La leçon, pour qui exploite de l’IA aujourd’hui, est plus pratique. Pour servir de grands modèles, le goulet d’étranglement est de plus en plus la mémoire plutôt que le calcul, et un modèle qui ne tient pas en mémoire ne s’exécute pas du tout. Dimensionnez la mémoire d’abord, puis choisissez le matériel.
1. Savoir quelle mémoire vous manque
Un serveur d’IA compte plusieurs mémoires, et elles ne sont pas interchangeables. Cherchez laquelle vous limite avant d’acheter davantage de quoi que ce soit.
- La mémoire de l’accélérateur. La mémoire à large bande passante se trouve contre l’accélérateur et contient le modèle pendant qu’il s’exécute. Si les poids et les données de travail n’y tiennent pas, rien d’autre ne compte.
- La mémoire système. Les barrettes DDR5, près du processeur, contiennent tout ce qui entre et sort : données en préparation, modèles en cours de chargement, services autour du modèle.
- Le stockage. La flash conserve modèles et données hors tension. Elle détermine la durée d’un démarrage à froid.
2. Distinguer capacité et bande passante
La capacité, c’est ce qui tient. La bande passante, c’est la vitesse à laquelle cela circule. Elles ne s’épuisent pas de la même façon, et une cellule plus dense n’aide que la première.
- La capacité s’épuise quand grandissent les modèles, le contexte et la taille des lots. La mémoire que demande chaque requête limite le nombre de requêtes servies ensemble.
- La bande passante s’épuise quand les processeurs calculent plus vite que la mémoire ne les alimente. La puissance de pointe des serveurs a crû d’environ 3,0× tous les deux ans, contre environ 1,6× pour la bande passante de la DRAM.
- C’est l’interface qui fixe la bande passante. La norme HBM4 admet jusqu’à 2 To/s sur une interface de 2 048 bits, et un changement de cellule n’y touche pas.
3. Mesurer avant de dimensionner
Un dimensionnement tiré de la fiche d’un modèle est une estimation. Mesurez sur la charge que vous exécuterez réellement.
- La mémoire de pointe par requête, aux longueurs de contexte que vos utilisateurs envoient vraiment, pas la moyenne.
- Les requêtes servies ensemble au temps de réponse visé. Augmentez le lot jusqu’à ce que la mémoire ou le temps de réponse cède, et notez lequel a cédé le premier.
- La marge. Gardez de la place pour la prochaine version du modèle et pour un pic de trafic. Un système dimensionné au plus juste tombe à sa première journée chargée.
4. Ce qu’une cellule plus dense change, et ce qu’elle ne change pas
Une cellule 4F² est une étape que l’industrie a franchie bien des fois : plus de bits dans le même silicium. Là où elle arrive, c’est une bonne nouvelle pour la capacité.
- Elle augmente la capacité par barrette ou par pile, une fois que des produits qui l’emploient sont qualifiés et livrés. Les travaux publiés à ce jour sont des prototypes.
- Elle n’augmente pas la bande passante, et ce n’est pas la DRAM 3D, qui empile des couches de cellules et constitue une technologie distincte.
- Ce n’est pas une raison de changer vos plans maintenant. Une barrette pour serveur a été rapportée comme prévue pour la fin de 2026, sans spécification divulguée.
Par où commencer
Choisissez le modèle qui compte le plus et notez trois chiffres : la mémoire qu’il demande par requête, le nombre de requêtes à servir en même temps, et le temps de réponse que vous avez promis. Mesurez le système que vous avez à leur aune. L’écart entre les deux, c’est le travail à faire.
L’analyse complète, avec la source de chaque chiffre, neuf schémas pas à pas et un calculateur du gain pour la puce entière, se trouve dans le rapport de synthèse.
Blog
Analyses, méthodes et stratégies d'Algorythmos sur l'IA, la sécurité et l'innovation par la donnée.
