Apple'ın Cihaz Üstü Yapay Zeka Modeli Kapsamlı Testlerden Geçti

Apple'ın Mac için geliştirdiği cihaz üstü dil modeli (LLM), bir geliştiricinin 226 farklı senaryodan oluşan testinden geçti. Testin ilginç yanı sonuç puanı değil, yöntemi: model buluta bağlanmadan, API anahtarı olmadan, tamamen yerel olarak sorgulandı. Bu da "cihaz üstü yapay zeka" kavramının pratikte ne anlama geldiğini somut biçimde gösteriyor.

Cihaz üstü model, adı üstünde, tüm çıkarımı (inference) internete çıkmadan yerel donanımda yapar. Bulut tabanlı bir asistanda yazdığınız istem önce Apple'ın ya da başka bir sağlayıcının sunucusuna gider, orada işlenir ve yanıt geri döner. Cihaz üstü modelde bu tur hiç yaşanmaz; girdi de çıktı da cihazdan ayrılmaz.

Cihaz üstü ile bulut arasındaki gerçek fark

İki yaklaşımın farkı çoğu zaman "gizlilik" başlığına indirgenir, ama tablo daha geniştir. Her modelin kendine göre mantıklı olduğu senaryolar vardır; seçim, ne için kullandığınıza bağlıdır.

Tablonun özeti şu: cihaz üstü model her işi bulut kadar iyi yapmaz, ama yaptığı işi kimseye sormadan ve internetsiz yapar. Metni özetlemek, e-posta taslağı çıkarmak, bildirimleri sıralamak gibi görevler bu sınıfa girer. Uzman düzeyinde uzun akıl yürütme gerektiren işlerde ise büyük bulut modelleri hâlâ önde.

Buradaki asıl gerilim boyut ile taşınabilirlik arasındadır. Bulut sunucusunda yüz milyarlarca parametreli bir modeli çalıştırmak sorun değildir; elektrik ve soğutma orada bolca vardır. Bir dizüstü bilgisayarda ise hem bellek hem güç bütçesi sınırlıdır, dolayısıyla modeli küçültmek zorunludur. Apple'ın tercihi, tek dev bir model yerine belirli görevlere göre ayarlanmış daha küçük modelleri işletim sistemine gömmek yönünde; böylece her görev, o iş için yeterli büyüklükteki modelle karşılanır ve gereksiz yük binmez.

İşi mümkün kılan donanım: Neural Engine

Bir dil modelini yerelde makul hızda çalıştırmak yalnızca yazılım değil, uygun donanım da ister. Apple'ın M serisi çipleri (Apple silicon) bu iş için üç bileşeni bir arada barındırır: genel amaçlı CPU çekirdekleri, grafik ve paralel iş için GPU, ve yapay zeka işlemlerine özel Neural Engine.

Neural Engine, sinir ağlarının bel kemiği olan matris çarpımlarını CPU'ya göre çok daha düşük enerjiyle yapan özel bir birimdir. Bir modelin "çıkarım" aşaması milyonlarca bu tür çarpımdan oluşur; bu yükü özel donanıma vermek hem hızı artırır hem de pili korur. Bir diğer belirleyici etken, M serisi çiplerdeki bütünleşik bellek mimarisidir: CPU, GPU ve Neural Engine aynı bellek havuzunu paylaşır, böylece modelin ağırlıkları birimden birime kopyalanmadan erişilebilir. Bu, sınırlı bellekli bir cihazda büyükçe bir modeli çalıştırabilmenin anahtarıdır.

Modelin cihaza sığması için genellikle niceleme (quantization) uygulanır: ağırlıklar 16 bit yerine 8 veya 4 bit gibi daha düşük hassasiyetle saklanır. Bu, model dosyasını küçültür ve belleği rahatlatır; karşılığında doğrulukta küçük bir kayıp olabilir. İşte 226 senaryoluk test tam da bu dengeyi ölçmek için değerli: nicelenmiş, yerel bir modelin gerçek görevlerde ne kadar tutarlı kaldığını gösterir.

Testin neyi doğruladığı

226 senaryo; soru-cevap, metin özetleme, metin üretimi ve kod tamamlama gibi farklı görev türlerini kapsadı. Bu çeşitlilik önemli, çünkü bir model tek bir görevde iyiyken başka bir görevde tutarsız olabilir. Açık kaynaklı bir araçla yürütülen bu tür bağımsız testler, üreticinin pazarlama iddialarından ayrı, tekrarlanabilir bir değerlendirme sağlar.

Böyle testlerin asıl değeri şeffaflıktır: aynı aracı indirip aynı istemleri kendi Mac'inizde çalıştırabilir, sonucu doğrulayabilirsiniz. Genel amaçlı dil modellerinin nasıl çalıştığı ve neden bu kadar veri/işlem gerektirdiği konusunda temel bir arka plan için büyük dil modeli kavramına göz atmak faydalı olur.

Bir modeli tek bir örnek soruyla değerlendirmek yanıltıcıdır, çünkü dil modelleri olasılıksal çalışır: aynı isteme her seferinde birebir aynı yanıtı vermezler. 226 gibi geniş bir senaryo kümesi, bu değişkenliği ortalamaya yayarak modelin gerçek eğilimini görünür kılar. Test ayrıca modelin nerede zorlandığını da ortaya çıkarır; örneğin çok adımlı akıl yürütme ya da uzun bağlam gerektiren görevler, yerel modellerin klasik zayıf noktalarıdır. Bu tür bir haritayı bilmek, modeli hangi işte kullanıp hangi işte buluta yöneleceğinize dair pratik bir rehber verir.

Öne çıkan pratik yetenekler

Yerel modelin iddiası "her şeyi yapmak" değil, günlük görevleri cihazdan çıkmadan halletmek. Öne çıkan başlıklar şunlar:

• Çevrimdışı çalışma: Uçakta, internetsiz bir ortamda ya da bağlantının zayıf olduğu yerde asistan yine çalışır.
• Gizlilik: Hassas belge, sözleşme ya da sağlık/finans verisi cihazdan ayrılmadığı için, verinin dışarı çıkma yüzeyi baştan ortadan kalkar.
• Düşük gecikme: Ağ turu olmadığından kısa görevlerde yanıt neredeyse anında gelir; hız artık donanıma bağlıdır, hattın durumuna değil.
• Sistem entegrasyonu: Model işletim sistemine gömülü olduğundan, üçüncü taraf uygulamalar bu yeteneği kendi içlerinden çağırabilir.
• Süreklilik maliyeti yok: Yerel çalıştığı için ek abonelik gerektirmez; maliyeti zaten sahip olduğunuz donanımdır.

Bu yetenekler özellikle veri gizliliğine önem veren meslekleri hedefler: hukuk, sağlık, mühendislik ve finans gibi alanlarda verinin cihazda kalması, kurumsal uyum kurallarına uymayı da kolaylaştırır. Hızlı yanıt beklentisi olan yerlerde de bulut gecikmesinin ortadan kalkması gözle görülür bir fark yaratır.

Sınırlar ve dikkat edilecekler

Cihaz üstü modelin çekici tarafları, aynı zamanda sınırlarını da belirler. Bunları bilmek, teknolojiden gerçekçi beklenti kurmayı sağlar:

• Model boyutu tavanı: Yerel model, cihazın belleğine sığmak zorunda olduğundan bulut modellerine göre küçüktür. Bu, çok geniş dünya bilgisi ya da uzun akıl yürütme isteyen görevlerde eksik kalabileceği anlamına gelir.
• Donanım bağımlılığı: Performans doğrudan çipe bağlıdır. Yeni nesil M serisi bir Mac'te akıcı çalışan bir görev, daha eski bir cihazda belirgin biçimde yavaşlayabilir ya da hiç desteklenmeyebilir.
• Isı ve pil: Uzun süreli yoğun çıkarım, dizüstü cihazlarda ısınma ve pil tüketimi yaratır. Neural Engine bu yükü azaltsa da sınırsız değildir.
• Güncelleme ritmi: Bulut modeli sunucu tarafında sessizce iyileştirilebilirken, cihaz üstü model çoğunlukla işletim sistemi güncellemesiyle yenilenir; yani gelişmeler kullanıcıya biraz daha geç ulaşır.

Bu tabloyu gördükten sonra doğru soru "hangisi daha iyi?" değil, "bu görev için hangisi uygun?" olur. Pratikte iki dünya birbirini tamamlar: rutin ve gizlilik gerektiren işler yerelde, ağır akıl yürütme bulutta kalır.

Maker ve elektronik tarafı için ne anlamı var?

Bir Mac'in Neural Engine'ini ESP32'de bulamazsınız; ölçekler farklı. Ama "zekayı buluta değil cihaza koymak" fikri mikrodenetleyici dünyasında da giderek yaygınlaşıyor. Buna genelde edge AI ya da mikrodenetleyiciler için makine öğrenimi (TinyML) deniyor.

Pratikte bunun karşılığı şudur: küçük, nicelenmiş bir modeli doğrudan karta gömüp, veriyi hiçbir yere göndermeden yerinde işlemek. Örnekler:

• Anahtar kelime tanıma: "Aç/kapat" gibi birkaç komutu tanıyan küçük bir ses modeli, ESP32 sınıfı bir kartta çalışabilir ve sesi buluta göndermez.
• Hareket/anomali algılama: Bir ivmeölçerin verisini yerelde sınıflandırıp "normal / anormal titreşim" ayrımı yapmak, kestirimci bakım projelerinin temelidir.
• Basit görüntü sınıflandırma: Kameralı bir kart, düşük çözünürlüklü görüntüde birkaç nesneyi ayırt edebilir; ağır işlemi Raspberry Pi gibi biraz daha güçlü bir kart üstlenebilir.

Apple'ın yaptığı ile bir Raspberry Pi projesinin ortak dersi aynı: modelin boyutunu donanıma göre küçültmek, işi mümkün olduğunca yerelde bitirmek ve buluta yalnızca gerçekten gerektiğinde çıkmak. Bu yaklaşımın yan faydası da var; yerelde çalışan bir sistem, ağ kesintisinde ya da sunucu tarafındaki bir arızada ayakta kalır, çünkü kritik işlevi dış bir servise bağlı değildir.

226 senaryoluk testin daha büyük hikâyesi de tam bu: cihaz üstü LLM artık deneysel bir gösteri olmaktan çıkıp ölçülebilir, tekrarlanabilir bir ürün özelliğine dönüşüyor. "Önce yerel" yaklaşımı, hem masaüstünde hem mikrodenetleyici tarafında giderek istisna değil, varsayılan tasarım tercihi haline geliyor.