Google, makine öğrenimi modellerinin üretim ortamındaki performansını artırmak amacıyla Python yorumlayıcısını sunucu tarafındaki işlem hattından çıkaran XLA Serving Engine (XSE) aracını açık olarak yayınladı. OpenXLA ekosisteminin yeni bileşeni, modellerin Python geliştirilip C++ tabanlı yerel kod üzerinden çalıştırılmasını sağlıyor. Google’ın testlerinde XSE, optimize edilmiş en hızlı Python sunucusuna kıyasla iki ila beş kat daha yüksek işlem hacmi sunarken bellek kullanımını dörtte bire indirdi.
XLA Serving Engine Python Yorumlayıcısını Devre Dışı BırakıyorGoogle’ın geliştirdiği XSE, özellikle kısa sürede yanıt vermesi gereken makine öğrenimi modellerinin sunulmasına odaklanıyor. Büyük dil modellerinin çevrim içi çıkarım süreçleri için vLLM veya SGLang gibi çözümler öne çıkarken XSE; sıralama, öneri, gömme görüntü işleme modelleri gibi daha dar görevlerde kullanılan sistemleri hedefliyor. modeller, kullanıcıların doğrudan sohbet etmediği ancak arka planda sürekli karar üreten hizmetlerde görev yapıyor.
Google Ürün Yönetimi Direktörü Nathan Beach, büyük dil modeli sunucularının sektörün gündeminde geniş yer tuttuğunu ancak üretim ortamındaki çıkarım işlemlerinin önemli bölümünü farklı model türlerinin oluşturduğunu belirtti. Beach’e göre söz konusu modeller, yüksek saniyelik sorgu hacmi düşük gecikme gereksinimleri nedeniyle verimli çalışma altyapısına ihtiyaç duyuyor.
Python, veri bilimcileri makine öğrenimi geliştiricileri için kolay kullanılabilen programlama dili olsa yorumlayıcının her isteğin işlenmesinde devrede kalması ek işlem yükü oluşturabiliyor. durum, özellikle çok sayıda kısa isteğin aynı anda işlendiği sistemlerde yanıt sürelerini uzatabiliyor. modelin Python geliştirilmesini korurken üretim aşamasında yorumlayıcıya duyulan ihtiyacı ortadan kaldırmayı amaçlıyor.
XSE, Google’ın kendi hizmetlerinde hâlihazırda geniş ölçekte kullanılıyor. Şirketin tığı bilgilere göre altyapı, YouTube Shorts, Google Ads Google Search dahil çeşitli hizmetlerde saniyede altı milyondan fazla sorguyu işliyor. sistemlerde makine öğrenimi modelleri arama sonuçlarını sıralıyor, video önerileri oluşturuyor kullanıcı etkileşimlerine göre anlık kararlar veriyor.
Google’ın performans testleri, XSE’nin optimize edilmiş Python sunucularına kıyasla iki ila beş kat daha yüksek işlem hacmine ulaştığını gösteriyor. Sistem aynı testlerde bellek kullanımını dörtte bire düşürüyor. sonuçlar, özellikle yüksek trafik alan hizmetlerde işlemci bellek kaynaklarının daha verimli kullanılmasına katkı sağlayabilir.
Söz konusu performans kazanımı, her yapay zekâ modeli için aynı ölçüde geçerli değil. XSE’nin tasarımı, kısa süreli yoğun istek trafiğiyle çalışan çıkarım görevlerine odaklanıyor. Büyük dil modellerinin uzun yanıtlar ürettiği veya karmaşık üretim süreçleri yürüttüğü senaryolarda ise farklı sunum altyapıları daha uygun seçenekler olabiliyor.
XSE mimarisinde geliştiriciler model kodlarını Python kullanarak yazıyor matematiksel işlemler için Google’ın JAX teknolojisinden yararlanıyor. Model eğitimi tamamlandıktan sonra dışa aktarma aracı, hesaplamaları StableHLO adı verilen taşınabilir ara gösterime dönüştürüyor. Eğitilmiş ağırlıklarla birlikte paketlenen dosya, XLA SavedModel biçiminde hazırlanıyor.
Çalışma zamanında C++ tabanlı sunucu altyapısı devreye giriyor. modelin hesaplama işlemlerini hedef donanım için yerel makine koduna derliyor Python yorumlayıcısını çalıştırmadan çıkarım işlemlerini gerçekleştiriyor. Böylece geliştiriciler Python’ın model geliştirme kolaylığını korurken üretim ortamında daha düşük seviyeli çalışma altyapısından yararlanabiliyor.
Google, PyTorch kullanıcılarının ekosisteme katılabilmesi için TorchTPU entegrasyonu üzerinde çalışıyor. Planlanan entegrasyon, PyTorch geliştirilen modellerin TPU donanımlarında C++ tabanlı sunucu altyapısı üzerinden çalıştırılmasına yönelik dışa aktarma yolu sağlayacak.
XLA SavedModel formatı yalnızca Google’ın TPU hızlandırıcılarıyla sınırlı kalmıyor. Modeller GPU CPU sistemlerinde çalıştırılabiliyor. Google, XLA ekosisteminin geliştirilmesi sırasında Arm Intel iş birliği yürüttü. destek, farklı işlemci mimarilerinde aynı model hesaplamalarının hedef donanıma uygun biçimde derlenmesini sağlıyor.
Google’ın TPU donanımlarına yönelik desteği ise şirketin kendi hızlandırıcı ekosistemini yaygınlaştırma hedefiyle örtüşüyor. XLA’nın farklı donanımlarda çalışabilmesi geliştiricilere esneklik sunarken TPU entegrasyonu Google’ın bulut yapay zekâ altyapısı açısından ayrı avantaj oluşturuyor.
Python’ın çalışma zamanı maliyetleri, makine öğrenimi sektöründe uzun süredir farklı çözümlerle ele alınıyor. PyTorch, Python dışında yerel C++ çalışma zamanı sunan LibTorch aracılığıyla modellerin daha düşük seviyeli uygulamalarda kullanılmasına imkân tanıyor. Microsoft iş ortaklarının geliştirdiği ONNX Runtime ise açık model grafiği formatını destekleyerek farklı platformlarda çıkarım yapılmasını sağlıyor.
Python’ın kendi referans uygulaması performans açısından büyük ölçüde C dilindeki bileşenlerden yararlanıyor. Rust tabanlı çalışmalar dilin çalışma zamanı altyapısına yönelik alternatiflerin gelişmesine katkı sağlıyor. XSE ise yaklaşımı Google’ın XLA derleyici ekosistemiyle birleştirerek Python tabanlı model geliştirme süreciyle yüksek performanslı sunucu altyapısı arasındaki ayrımı belirginleştiriyor.
Google’ın yeni aracı, Python’ı makine öğrenimi geliştirme sürecinden tamamen çıkarmıyor. Bunun yerine Python’ın üretim ortamında her isteği karşılayan yorumlayıcı rolünü ortadan kaldırıyor. Böylece geliştiriciler tanıdıkları araçlarla model oluştururken yüksek sorgu hacmine sahip hizmetlerde C++ yerel kodun performans avantajlarından yararlanabiliyor.
