Après une longue pause dans l’univers de l’IA digne d’un bon roman de science-fiction, notre ami Elon Musk – vous savez, le PDG de Tesla, SpaceX et X (anciennement connu sous le nom de Twitter) – a décidé de faire son grand retour l’année dernière avec la création de xAI. Pas de bal du nouvel an sans un projet à annoncer, n’est-ce pas ? Peu après, il a levé le rideau sur le premier produit de sa start-up : l’IA générative Grok, qu’il espère catapulter devant ChatGPT. Pour y parvenir, il lui faut un véritable arsenal de puissance de calcul, ce qui l’amène à jouer les chefs d’orchestre en quête de GPUs, tout en mettant un peu de pression sur les chaînes d’approvisionnement de NVIDIA.
L’engouement des entreprises pour la GenAI a engendré une demande gargantuesque pour les GPUs H100 de NVIDIA en 2023. NVIDIA a dû sortir ses calculettes pour annoncer des délais de livraison pouvant atteindre jusqu’à 52 semaines. Les puces de NVIDIA sont la crème de la crème – intégrées dans tout, des datacenters aux supercalculateurs, en passant par l’entraînement et l’inférence des LLMs. Cette année, la société a intensifié sa production pour tenter de satisfaire cette demande insatiable. Cependant, selon le Wall Street Journal, les exigences d’Elon Musk semblent ajouter une petite pincée de tension à ses chaînes d’approvisionnement déjà bien chargées.
Il faut admettre qu’Elon Musk, dans sa quête pour écraser la concurrence dans le domaine de la GenAI, a vraiment redoublé d’efforts avec son supercalculateur Colossus. Son projet a été qualifié de presque surhumain par Jensen Huang, le PDG de NVIDIA, en raison de la rapidité et de l’efficacité avec lesquelles il a été réalisé. Il a même déclaré :
“À ma connaissance, il n’y a qu’une seule personne au monde capable de réaliser cela en si peu de temps. Elon est unique dans sa compréhension de l’ingénierie, des grands systèmes et de la gestion des ressources – c’est tout simplement incroyable”.
Selon les dires d’Elon, le supercalculateur, construit en un temps record de 122 jours à Memphis, dans le Tennessee, abritait 100 000 GPU H100 en septembre dernier et sa capacité de calcul devrait être doublée avec l’ajout de 50 000 nouveaux H100 et autant de H200 avant la fin de l’année. Oui, vous avez bien entendu, Colossus est le plus grand cluster de calcul d’IA au monde ! Qui a besoin d’une salle de cinéma quand on peut avoir ça ?
La start-up a les moyens de ses ambitions, ayant levé pas moins de 11 milliards de dollars cette année. En mai, elle a annoncé un tour de financement de 6 milliards de dollars, rassemblant des investisseurs de renom tels que Valor Equity Partners, Andreessen Horowitz, et Sequoia Capital, tous prêts à répondre présent pour soutenir une nouvelle levée de fonds de 5 milliards de dollars. On dirait bien qu’il y a des gens qui croient fermement que le futur se construit avec des chiffres à quatre zéros !