Bu makalede Apple’ın iOS, iPad ve macOS için geliştirdiği Apple Foundation Model tanıtılıyor. Apple’ın bu modelle amacı kullancılarının günlük ihtiyaçlarını için özelleştirilmiş ve anlık aktivitelerine uyum sağlayan bir model geliştirmek. Apple Intelligence; metin yazma, özetleme, iyileştirme, görsel üretme, uygulamalar arası etkileşimleri basitleştirme gibi özellikler içeriyor.
Model Mimarisi
Makale iki foundation model olan AFM-on-device ve AFM-server(büyük olan)’ı tanıtıyor. Bu modeller decoder-only transformer modeli üzerine inşa edilmiştir.
Aşağıda modelin boyutları verilmiştir.
Bu model, ChatGPT'nin (GPT-3 veya GPT-4 gibi) büyük versiyonlarına göre daha kompakt ve orta ölçekli bir model olarak değerlendirilebilir. Parametre boyutları, katman sayısı ve dikkat başlıklarının boyutları, bu modelin daha belirli ve optimize edilmiş kullanım durumlarına uygun olduğunu gösteriyor. GPT-3 veya GPT-4 gibi modeller büyük ölçekli ve çok daha fazla parametreye sahipken, bu model daha spesifik görevlerde, hesaplama verimliliği ve kaynak kullanımı açısından avantaj sağlayabilir.
Veriseti
Apple, veri setini human annotations ve sentetik verilerden oluşan hibrit veri stratejisini kullandığını söylüyor.
Bu verilerin hazırlanırken herhangi bir apple kullancısının kişisel verilerinin içermediğini söylüyor. Apple makalede bunun altını birkaç kere çiziyor.
Apple veri setini hazırlarken Apple botu ile herkese açık olan web verilerini tarıyor ve web yayıncılarının robots.txt yönergelerini kullanarak AppleBot’tan çıkma haklarını veriyor.
Tokenizer
Apple bu modeller için byte-pair encoding (BPE) tokenizer kullanıyor. Bu tokenizer GPT, BERT gibi modellerde de kullanılmaktadır. BPE, her bir kelimeyi tek bir token olarak temsil etmek yerine, daha küçük alt birimlere böldüğü için çok çeşitli kelimeleri daha verimli bir şekilde temsil edebilir.
BPE için Örnek:
Kelime: "unhappiness"
Karakterlere bölünür: ['u', 'n', 'h', 'a', 'p', 'p', 'i', 'n', 'e', 's', 's']
Sık görülen karakter çiftleri bulunur ve birleştirilir:
En sık: 'pp' -> ['u', 'n', 'h', 'a', 'pp', 'i', 'n', 'e', 's', 's']
Sonra: 'ss' -> ['u', 'n', 'h', 'a', 'pp', 'i', 'n', 'e', 'ss']
Sonra: 'ine' -> ['u', 'n', 'h', 'a', 'pp', 'ine', 'ss']
Sonuçta, "unhappiness" kelimesi model tarafından ['u', 'n', 'h', 'a', 'pp', 'ine', 'ss'] gibi alt birimlere bölünmüş olur.
Sonuçlar
Makalenin yayınlanan sonuçlarına göre AFM modelleri LLama-3 ve GPT-4 hariç diğer tüm modellere karşı galip gelmiş gözüküyor.
İki model de genel yetenekler açısından oldukça başarılı gözüküyor.
İki model de güvenlik konusunda insanların değerlendirmelerine göre diğer modellere karşı üstünlük sağlıyor.
Sonuç
Bu makalede Apple’ın kendi cihazları için geliştirilen Apple Intelligence tanıtılmaktadır. Bu model diğer modellere kıyasla daha başarılı olduğu verilerle raporlanmıştır.
Tüm makaleyi buradan bulabilirsiniz.
Apple. "Apple Intelligence Foundation Language Models." arXiv, 29 Jul. 2024, arxiv.org/abs/2407.21075.
Comments