Google Research, yapay zeka alanında gizlilik odaklı yeni bir model tanıttı. Şirket, diferansiyel gizlilik yöntemiyle sıfırdan geliştirilmiş güçlü bir büyük dil modeli olan VaultGemma’yı duyurdu. Bu model, 1 milyar parametreye sahip olup, Hugging Face ve Kaggle platformlarından herkesin erişimine sunuldu. Böylece araştırmacılar ve şirketler, bu modeli indirip kullanma imkanına sahip oldu.
Google, VaultGemma teknolojisini tanıttı
VaultGemma, diferansiyel gizlilik adı verilen bir yöntemle geliştirildi. Bu yöntem, kullanıcı verilerinin doğrudan hatırlanmasını engellemek amacıyla eğitim sürecine kontrollü bir şekilde gürültü ekliyor. Ancak bu yaklaşım, eğitim sürecinde bazı zorluklar yaratıyor ve modelin stabil bir şekilde öğrenebilmesi için daha büyük veri setlerine ve yüksek hesaplama gücüne ihtiyaç duyuyor.
Google, DeepMind ile yürüttüğü işbirlikleri sayesinde bu süreci yönetecek yeni ölçeklenme yasaları tanımladı. Böylelikle gizlilik ile performans arasında denge kurarak VaultGemma’yı geliştirdi.
Modelin dikkat çeken bir teknik özelliği ise yalnızca 3 milyar aktif parametreyle çalışmasıdır. Bu yapı, performanstan ödün vermeksizin verimlilik sağlamaktadır. Ayrıca, 256 bin token uzunluğundaki metinleri tek seferde işleyebilme kapasitesine sahipken, RoPE yöntemleriyle bu sınır 1 milyon tokene kadar genişletilebiliyor. Bu rakam, günümüzün en ileri ticari yapay zeka modelleriyle eşdeğer bir seviyeyi temsil ediyor.
VaultGemma’nın en dikkat çekici özelliklerinden biri sağladığı gizlilik güvencesidir. Model, ε ≤ 2.0, δ ≤ 1.1e-10 gibi sıkı bir gizlilik garanti ile eğitilmiştir. Bu garanti, tek bir eğitim örneğinin model çıktıları üzerinde belirgin bir etki bırakmasını matematiksel olarak engellemektedir.
Google’ın gerçekleştirdiği testler, VaultGemma’nın eğitim sürecinde gördüğü verileri ezberlemediğini ve yeniden üretmediğini ortaya koymuştur. Performans açısından VaultGemma, beş yıl önce piyasaya sürülen GPT-2 gibi modellerle benzer sonuçlar vermektedir.
Bu durum, gizlilik için yapılan hesaplama maliyetinin hâlâ yüksek olduğunu göstermekte olsa da, modern diferansiyel gizlilik yöntemlerinin artık pratikte kullanılabilir bir seviyeye ulaştığını gözler önüne sermektedir. Google, bu çalışma ile açık kaynaklı bir modelin yanı sıra gelecekteki gizlilik odaklı yapay zeka geliştirmeleri için güvenilir bir yol haritası sunmuş oldu.
Leave a comment