NVIDIA ve Oracle, Vera Rubin sistemlerini çok gigawatt ölçeğine taşıyarak Oracle Cloud Infrastructure üzerinde genişletme planlarını duyurdu.
Genişleyen İş Birliği
NVIDIA ve Oracle, Oracle Cloud Infrastructure (OCI) Supercluster’larını, NVIDIA Vera Rubin NVL72 sistemleri ile çok gigawatt ölçeğine genişletmeyi planlıyor. Bu genişleme, yapay zeka (AI) eğitimine, çıkarıma ve ajans uygulamalarına olan artan müşteri talebini destekleyecek. Ayrıca, NVIDIA Vera Rubin NVL72 ve NVIDIA Vera CPU’larının OCI üzerindeki genel kullanılabilirliği ile AI altyapısı iş birliği daha da geliştirilmiş oldu.
Müşterilere, frontier modellerin eğitim ve hizmetinde GPU yoğun işler ile model çağrıları arasındaki CPU yoğun görevler için altyapı sağlanıyor. Bu, kod yürütme, veri toplama gibi işlemleri içeriyor. Müşteriler, iş yüklerine göre CPU ve GPU kaynaklarını bağımsız olarak ölçeklendirebilecek, bu da atıl kapasiteyi azaltıp altyapılarını daha verimli bir şekilde kullanmalarını sağlayacak.
OCI Supercluster’larının Avantajları
OCI Supercluster’ları, NVIDIA NVL72 sistemleri, Oracle Acceleron ağı ve NVIDIA Spectrum-X™ Ethernet ağı ile entegre ederek en büyük AI modellerini eğitmek ve hizmet vermek için gigawatt sınıfı güç ve soğutma sunuyor. Her rack, 72 GPU’yu NVIDIA NVLink™ ölçekleme ağı ile bağlıyor. OCI’nin dayanıklı, çok katmanlı ağı, yüz binlerce GPU arasında ölçeklenebiliyor.
Genişletilen Vera Rubin, OCI’nin mevcut NVIDIA destekli altyapısına dayanıyor. NVIDIA’nın ortak CUDA® yazılım temeli, donanım nesilleri arasında gelişen modelleri ve iş yüklerini desteklemek için yazılım optimizasyonunu sürdürüyor.
NVIDIA HGX Rubin NVL8 ile Yeni Seçenekler
OCI, NVIDIA HGX Rubin NVL8’i tanıtmayı planlıyor. Bu yeni platform, x86 tabanlı sunucu yapılandırmasında NVLink aracılığıyla bağlı sekiz Rubin GPU’su ile geliyor. Yapılandırması, iki adet 64 çekirdekli Intel Xeon 6 CPU, 4TB DDR5 bellek ve 6.4 Tbps yüksek hızlı RDMA ağı içeriyor. Bu, AI eğitimi, ince ayar ve çıkarım için esnek bir dağıtım seçeneği sunuyor.
HGX Rubin NVL8, müşterilerin daha küçük sekiz GPU yapılandırmasında bir sonraki nesil Rubin GPU teknolojisini benimsemelerini sağlarken, x86 tabanlı uygulamalarla uyumluluğu koruyor.
AI Ajanlarının Hızlandırılması
AI ajanları yalnızca yanıt üretmekle kalmaz; araç çağırma, kod yürütme ve bilgi toplama gibi görevleri yerine getirirler. Bu CPU yoğun işlemlerin yavaş yürütülmesi, sonuçların gecikmesine neden olabilir ve GPU’ların model çağrıları arasında beklemesine yol açabilir. OCI Compute, NVIDIA Vera CPU’ları ile yüksek tek iş parçacığı performansını birleştirerek ajanların CPU yoğun görevleri daha hızlı tamamlamasına yardımcı olur.
Yüksek bellek bant genişliği, CPU çekirdeklerinin veri ile beslenmesini sağlar, bu da ajanların eşzamanlı görevleri yürütürken GPU’ların boşta kalma süresini azaltır ve iş yükleri ölçeklendikçe tutarlı performans sunar.
Müşteri Deneyimleri ve Gelişmeler
Öncelikle NVIDIA Vera CPU’larına erişimi olan müşteriler, OpenAI dahil olmak üzere, bu teknolojinin AI iş yükleri üzerindeki potansiyelini keşfediyor. OpenAI’nin mühendislik lideri Sreekanth Pothanis, “NVIDIA Vera Rubin, OCI üzerinde model eğitimini hızlandırmak ve giderek artan AI iş yüklerini desteklemek için gerekli hesaplama performansını ve ölçeği sağlıyor” diyor.
Oracle Cloud Infrastructure’ın, müşterilere frontier AI’yi ilerletme konusunda gereken performans, güvenlik ve ölçek sağladığını belirten Oracle Cloud Infrastructure Başkanı Mahesh Thiagarajan, NVIDIA ile iş birliğinin AI eğitiminde, çıkarımda ve ajansik AI’de bu yetenekleri genişlettiğini vurguladı.
