Qualcomm, veri merkezlerine yönelik Dragonfly AI200 çıkarım sistemini seçili müşterilerin bulut üzerinden test etmesine. Şirket, Cirrascale Cloud Services iş birliğiyle sunulan erişim kapsamında sistemin büyük dil modelleri çok modlu yapay zekâ uygulamalarındaki performansının değerlendirilmesini sağlıyor. Test sürecinin ardından müşteriler, uygun buldukları iş yüklerini üretim ortamlarına taşıyabilecek.
Dragonfly AI200, Veri Merkezi Çıkarım İş Yüklerine OdaklanıyorQualcomm, Dragonfly AI200 sistemini Nvidia’nın yüksek güç tüketimi işletme maliyetleriyle öne çıkan veri merkezi çözümlerine alternatif olarak konumlandırıyor. Şirket, özellikle yapay zekâ modellerinin eğitilmesinden ziyade eğitilmiş modellerin kullanıcı isteklerine yanıt üretmesini sağlayan çıkarım süreçlerinde daha verimli altyapı sunmayı hedefliyor.
Müşteriler, Dragonfly AI200 sistemini Cirrascale’ın AI Innovation Cloud platformu üzerinden uzaktan değerlendirebiliyor. Qualcomm, erişimin yalnızca teknik denemelerle sınırlı kalmayacağını, başarılı testlerin ardından üretim ortamlarına geçiş için yol sunacağını belirtiyor. Cirrascale, sistemi 17-18 Kasım tarihlerinde Chicago’ düzenlenen SC26 etkinliğinde tanıttı.
Dragonfly AI200, Qualcomm’un veri merkezi ürün ailesinin parçası olarak geliştirildi. Aynı ürün grubunda AI250 AI300 hızlandırıcıları C1000 sunucu işlemcisi bulunuyor. Şirket, veri merkezi pazarındaki daha geniş hedeflerini haziran ayında düzenlediği Yatırımcı Günü etkinliğinde açıklamıştı.
Qualcomm’un teknik tasarımında bellek kapasitesi temel unsurlardan biri olarak öne çıkıyor. Her Dragonfly AI200 hızlandırıcı kartı 768 GB LPDDR bellek taşıyor. Sıvı soğutmalı raf sisteminde 56 kartın araya gelmesiyle toplam bellek kapasitesi yaklaşık 43 TB seviyesine ulaşıyor.
Şirket, sistemin 7 milyardan 10 trilyona kadar parametre içeren modelleri desteklediğini bildiriyor. Uzun bağlamlı yapay zekâ uygulamaları, getirme destekli üretim (RAG) sistemleri otonom görevler yürüten yapay zekâ ajanları hedeflenen iş yükleri arasında yer alıyor. kapasite, büyük modellerin çalıştırılması sırasında bellek ihtiyacını karşılamaya yönelik tasarım yaklaşımını yansıtıyor.
Qualcomm’un LPDDR tercihi, Nvidia’nın Blackwell tabanlı NVL72 sistemlerinde kullandığı HBM3e bellek mimarisinden ayrılıyor. HBM3e, yüksek bant genişliği sunarken maliyetli teknoloji olarak konumlanıyor; LPDDR ise daha çok mobil cihazlarda kullanılan düşük güç tüketimli bellek türü olarak biliniyor. nedenle yüksek toplam bellek kapasitesi tek başına Nvidia sistemleriyle eşdeğer performans sağlandığını göstermiyor. Bellek bant genişliği, gecikme, işlemci mimarisi gerçek iş yüklerindeki sonuçlar performans karşılaştırmasında belirleyici oluyor.
Qualcomm, Dragonfly AI200 veri merkezlerinde artan yapay zekâ çıkarım maliyetlerine çözüm getirmeyi amaçlıyor. Şirketin Veri Merkezi İş Birimi Genel Müdürü Tony Pialis, çıkarım işlemlerinin veri merkezlerindeki en büyük hesaplama iş yüklerinden biri haline geldiğini belirterek daha verimli sistemlere ihtiyaç duyulduğunu söyledi. Pialis’e göre AI200, Qualcomm’un yüksek performanslı düşük güç tüketimli hesaplama alanındaki deneyimini raf ölçeğinde altyapıya taşıyor.
Cirrascale Üst Yöneticisi Dave Driggers müşterilerin daha karmaşık modelleri çalıştırırken enerji tüketimi işletme giderlerinin büyümeyi sınırlamasını istemediğini ifade. Şirket, Qualcomm iş birliğiyle yeni mimariyi değerlendirmek isteyen müşterilere bulut tabanlı erişim sunuyor. Böylece işletmeler, donanımı doğrudan satın almadan önce kendi modelleri uygulamaları üzerinde performans ölçümleri yapabiliyor.
Qualcomm, donanımın yanında Dragonfly AI Infrastructure Management Suite adlı yazılım paketini sunuyor. Yazılım; sistem kaynaklarının tahsisi, performans takibi, iş yüklerinin düzenlenmesi arıza yönetimi gibi görevleri üstleniyor. araçlar, çok sayıda hızlandırıcı kartın birlikte çalıştığı raf ölçekli yapay zekâ altyapılarının yönetilmesini amaçlıyor.
Dragonfly AI200’ün Nvidia karşısındaki rekabet gücü, yalnızca bellek kapasitesi veya teorik enerji verimliliğiyle belirlenmeyecek. Bulut testlerinde ortaya çıkacak gerçek çıkarım hızı, model başına maliyet, enerji tüketimi yazılım uyumluluğu sonuçları kurumsal müşterilerin kararlarını etkileyecek. Qualcomm, Cirrascale üzerinden başlattığı denemelerle ölçütlerde Nvidia dışındaki alternatiflerin değerlendirilmesini sağlamayı hedefliyor.
Editörün Notu: Qualcomm’un Dragonfly AI200 hamlesi, yapay zekâ veri merkezlerinde Nvidia dışındaki donanım seçeneklerinin kurumsal müşteriler tarafından gerçek iş yükleriyle sınanacağı yeni rekabet alanı oluşturuyor. Sistemin başarısını belirleyecek temel ölçütler arasında bellek kapasitesinin yanı sıra bant genişliği, enerji tüketimi model başına çıkarım maliyeti bulunuyor.