NVIDIA'dan Yerel Çalışan Yapay Zeka

NVIDIA, internet bağlantısı olmadan yerel olarak çalışan sesli asistanlar, oyun karakterleri ve robotlar için geliştirdiği yeni küçük dil modelini kullanıma sundu. Nemotron 3.5 Bolt E4B 4GB adlı açık model, konuşma sırasında araç çağırma ve iş tamamlama yeteneğine sahip olup yaklaşık 4 GB bellekle çalışacak şekilde optimize edildi.

Shiftdelete'de yayınlanan habere göre model, Google'ın Gemma 4 E4B modeli üzerine NVIDIA'nın eğitim yöntemleriyle inşa edildi. Çok adımlı konuşmalarda uygulama arayüzlerini çağırabilen model, kısa ve konuşma odaklı yanıtlar üretebiliyor; ayrıca düşünme özelliği isteğe bağlı olarak açılıp kapatılabiliyor. Sistem, 64 bin token bağlam penceresi ve 35 dil desteği sunuyor.

Şirket, Nemotron 3 Nano 4B'ye kıyasla konuşmalı yapay zeka testlerinde yüzde 40 daha yüksek ortalama başarı elde edildiğini, benzer boyuttaki rakiplere göre ise yüzde 10 fark bulunduğunu açıkladı. Ayrıca modelin rakiplerine göre yüzde 80'e kadar daha az çıktı üreterek hesaplama yükünü ve yanıt süresini azalttığı belirtildi. Ancak NVIDIA'nın kendi testlerine göre Qwen 3.5 4B, bazı araç kullanımı senaryolarında Bolt E4B'nin önünde yer alıyor.

Model, GeForce RTX ekran kartları, Jetson kartları, RTX Spark ve DGX Spark sistemlerinde çalışmak üzere hazırlandı. NVIDIA'nın paylaştığı ölçümlere göre, 12 GB bellekli RTX 5070'te yaklaşık 3,5 GB bellek kullanan model saniyede 133 token üretiyor. RTX Spark'ta bu hız saniyede 67 token'a, Jetson Orin Nano 8 GB'ta ise yaklaşık 4,2 GB bellekle saniyede 15,5 token'a düşüyor.

Tanıtım videosunda Reachy Mini robotu, Jetson Orin Nano 8 GB üzerinde internet olmadan sohbet edip hareket ediyor; konuşmayı Bolt, görüntü anlamayı ise NVIDIA Cosmos modeli üstleniyor. Bir başka örnekte oyundaki demirci karakteri, ödeme doğrulaması sonrası malzemeleri toplayarak eşyayı üretiyor. Geliştiriciler modeli Hugging Face üzerinden indirebilirken, NVIDIA eğitim yöntemi ve veri setlerinin de açık olduğunu duyurdu.

TürkAta Haber Ajansı
Vatan Haber