NVIDIA, Cosmos platformunu geliştirerek dünya modelleri için yeni eğitim araçları, simülasyon kontrol noktaları ve veri oluşturma şablonları sundu.
Dünya Modelleri İçin Yeni Araçlar
NVIDIA, fiziksel yapay zeka sistemlerinin gerçek dünyayı anlamasına ve simüle etmesine yardımcı olacak dünya modellerinin hızlı bir şekilde inşa edilmesini sağlamak amacıyla Cosmos platformunu genişletti. Bu platform, en iyi açık modeller sıralamalarında ilk beşte yer alarak, dünya modeli geliştiricilerine veri, eğitim ve optimizasyon araçları sunuyor.
Eğitim Verilerini Geliştirme
Dünya modellerinin oluşturulması, çok modlu ve çok duyulu verilerle başlar. NVIDIA Cosmos Data Factory, fiziksel yapay zeka için veri etiketleme, düzenleme, artırma ve değerlendirme süreçlerini ölçekli bir şekilde gerçekleştirmek için gerekli araçları bir araya getiriyor. Cosmos Curator, video eğitim veri setlerini düzenlemek için GPU hızlandırmalı bir çözüm sunarak, çok modlu ve çok duyulu girdi ve işleme bloklarına destek ekledi.
Cosmos Data Factory, GitHub, Microsoft Azure, Nebius ve CoreWeave üzerinden erişilebilen beş bulut tabanlı şablon sunuyor:
- Otonom Araç Veri Seti Üretimi: Sürüş verilerini düzenleyip etiketleyerek, zor yakalanan senaryolar için sentetik örnekler ekliyor.
- Görüntü Özellik Artırımı: Nesne görünümünü değiştirerek görüntü aramasını iyileştiriyor.
- Olay Video Üretimi: Durağan görüntüleri nadir veya tehlikeli olayların sentetik videolarına dönüştürüyor.
- Defekt Görüntü Üretimi: Baskılı devre kartı, metal ve cam defekt görüntüleri üreterek inceleme modellerine katkıda bulunuyor.
- Video Veri Artırımı: Mevcut görüntülerde hava ve aydınlatma değişiklikleri yaparak sahne yapısını koruyor.
Gerçek Dünyadan Verilerle Eğitim
Şirketler, Cosmos Data Factory şablonlarını kullanarak fiziksel yapay zeka geliştirme iş akışlarını hızlandırıyor. Porsche, Volkswagen Grubu markaları arasında paylaşılan bir otonom araç veri döngüsü geliştirmekte öncülük ediyor ve Cosmos Data Factory’yi Microsoft Azure üzerindeki Voxel51 aracılığıyla kullanıyor. Bu uygulamanın, fiziksel test sürüşlerini %90 oranında azaltması ve geliştirme döngüsü sürelerini %85 oranında kısaltması bekleniyor.
ANYbotics, Cosmos Data Factory şablonları ile 1.500’den fazla sentetik video klip üreterek, gerçek dünya verilerini düzenleyip Encord platformu ile çıktıları doğruladı. Bu süreç, endüstriyel denetim robotlarının sıvı dökülmelerini ve diğer değişiklikleri tanımasını sağladı.
Modelleri Eğitme ve Optimize Etme
Eğitim verileri hazırlandıktan sonra, geliştiriciler kendi mimarilerini eğitebilir veya önceden eğitilmiş bir modelle başlayabilir. NVIDIA, GTC Berlin’de Cosmos Framework eğitim, optimizasyon ve dağıtım araçlarını daha fazla açık modelle genişletti. Geliştiriciler, GR00T, Alpamayo, QWEN, Pi0.5 gibi açık modelleri ince ayar yaparak ve pekiştirmeli öğrenme ile adapte edebiliyor, modeli damıtma ve kuantizasyon ile optimize edebiliyor.
MicroAGI araştırma laboratuvarı, egosentrik manipülasyon için özel bir dünya modeli geliştirmek amacıyla Cosmos 3’ü insanlarla nesne manipülasyonu videolarında yeniden eğitti. Bu süreçte, 32 milyar parametreli akıl yürütme modelini 8 milyar parametreli bir Nano modele damıtarak doğruluk kaybı yaşamadan başarı sağladı.
Politikaları Test Etme ve Modelleri Hızlandırma
NVIDIA, yeni Cosmos 3 Nano model varyantları ile simülasyonlar için otonom politikaları test etmeyi mümkün kılıyor. Geliştiriciler, bu modelleri kullanarak kendi otonom araçları ve iki el ile çalışan robotları için etkileşimli simülasyonlar öncesinde eğitim ve değerlendirme yapabiliyor. Ayrıca, güncellenmiş NVIDIA Cosmos 3 NIM mikro hizmetleri ile temel Cosmos modellerini dağıtmak, iki kat daha hızlı çıkarım yapmayı sağlıyor.
ADNOC, Fogsphere’in MistIQ platformunu kullanarak, 65 farklı noktada gerçek zamanlı olarak güvenlik tehlikelerini tespit ediyor. Fogsphere, nadir olaylar için Cosmos Data Factory’yi kullanarak sentetik eğitim verileri üretiyor ve bu sayede tehlikeli durumları fiziksel olarak sahnelemeden tespit yeteneğini artırıyor.
Cosmos platformu tamamen modüler ve açıktır. Geliştiriciler, Cosmos Data Factory’yi kullanarak eğitim veri setleri oluşturabilir, Cosmos Framework ile dünya modellerini eğitebilir ve desteklenen Cosmos modellerini NIM mikro hizmetleri aracılığıyla dağıtabilir.
