Google Cloud a annoncé de puissantes innovations en matière d'infrastructure pour votre avenir axé sur l'IA, notamment la TPU de sixième génération, Trillium, les machines virtuelles A3 Ultra équipées de GPU NVIDIA H200 Tensor Core, Hypercompute Cluster, les machines virtuelles C4A basées sur des processeurs Axion personnalisés, des améliorations au réseau de centres de données Jupiter et à la capacité de déchargement d'hôte Titanium, et le service de stockage Hyperdisk ML. Ces améliorations visent à améliorer les performances de l'infrastructure d'IA, la facilité d'utilisation et l'efficacité des coûts pour les clients. Trillium offre des améliorations de performances significatives par rapport à la TPU v5e, notamment une amélioration de plus de 4 fois des performances d'entraînement, une augmentation jusqu'à 3 fois du débit d'inférence et une augmentation de 67 % de l'efficacité énergétique. Les machines virtuelles A3 Ultra sont conçues pour offrir un bond en avant significatif en termes de performances par rapport aux générations précédentes, avec 2 fois la bande passante réseau GPU à GPU et des performances d'inférence LLM jusqu'à 2 fois supérieures. Hypercompute Cluster simplifie la gestion des clusters d'accélérateurs d'IA, permettant des déploiements fiables et reproductibles via un seul appel d'API. Les machines virtuelles C4A sont désormais disponibles de manière générale, offrant des performances et une efficacité améliorées pour un large éventail de charges de travail générales. Titanium et le réseau Jupiter ont été améliorés pour prendre en charge les charges de travail d'IA, avec le nouvel adaptateur réseau Titanium ML fournissant 3,2 Tbit/s de trafic GPU à GPU sur RoCE. Hyperdisk ML est désormais disponible de manière générale, fournissant un stockage hautes performances pour les charges de travail d'IA et HPC, avec des temps de chargement des données plus rapides et une meilleure rentabilité.