Tekrarlı Basamak Korelasyon Sinir Ağları
Eğer örneklerin sırası belirli bir modelse, rekurrent (tekrarlı) sinir ağları (RSA) ileri beslemelerden daha iyi probleme uyumlu olabilir. RSA güncel olan veya önceki katmanlara doğru geri beslemeli bağlantılara sahiptir, böylece veri ağ içerisinde yayılabilir. Bu verileri kullanarak giriş ve çıkış modellerinin tanıma yetisi kısa bir zaman diliminde simule edilebilir. Ne yazık ki genel bir RSA için etkili bir öğrenme algoritması bulunmamaktadır. Fahlman (1991) tarafından yayımlanan makalesinde belirtildiği üzere, sadece bazı rekurrent mimari öğrenme metodları rekurrent basamak korelasyon mimarisinin de içinde yer aldığı etkili öğrenme metodlarına sahiptir (Fahlman, 1991). Çünkü Basamak korelasyon sinir ağı (BKSA) eğitimi dondurulan bir nöronun ağırlıkları değişmez, yeni aday nöronlar aktif nöronlara doğru bağlantılara geri besleme yapamazlar. Böylece tek seçenek, Rekurrent Basamak Korelasyon (RBK) tarafından uygulanan mimari, her bir nöron kendi-rekurrent (tekrarlı) bağlantısına (kendi çıkışı bir giriş değeri gibi davranır) sahip olduğu zaman ki bu aday öğrenme süresince eğitilebilir ve sonrasında dondurulur. Sonrasında nöronların hesaplama modeli şöyle değişir:
yt-1, yt sırasıyla t-1 ve t zamanlarındaki çıkışları, xt,k t zamanında k’nıncı bağlantının girişini, wk k’nıncı ileri besleme bağlantısından bir başka nörondan gelen geçerli ağırlığı, ws kendi-rekurrent bağlantısının ağırlığını ve f ise aktivasyon fonksiyonunu göstermektedir. Aday eğitim süreci boyunca takip eden türevler kullanılır,
Burada, 1≤ i ≤n ve f , ise r girişine göre aktivasyon fonksiyonunun türevidir. yt-1 ‘in türevi ve yt-1 ‘in çıkış değeri önceki öğrenme adımından elde edilebilir. Kolay görülebileceği üzere RBK mimarisi KSBK değişkeni ki bu ağın derinliğini sıkıştırma kabiliyetine sahip, ile birleştirilebilir. Şekil 2 bu duruma örnek gösterilir.
Şekil 2 RBK ile KSBK kombinasyonu (Bal´azs, 2009)
Kesikli bağlantılar kendi-rekurrent çevriminin de içinde bulunduğu eğitimlerdir. Bu yapı mantıklı görülebilir fakat henüz bu kombinasyonun yer aldığı ampirik çalışmalar bulunmamaktadır (Bal´azs, 2009).
Gelişen Basamak Sinir Ağları (GBSA)
Bir basamak ağ mimarisi tanımlanacak olursa, nöronların içeriği, p, giriş nöron sayısı, bir katmandan diğerine artmaktadır. İlk katmanda, nöron iki girişe bağlıdır, xi1, …, xi2, i1 ≠ i2 є (1, m). Giriş xi1 minimal hatayı sağlayan tek girişli nöronu temsil etmektedir. İkinci katmanda, yeni nöron xi1girişine ve ayrıca bir önceki nöronun çıkışına bağlıdır. Bu nöronun üçüncü girişi ise çıkış hatasında maksimum bir düşüş sağlayan girişe bağlanabilir. Yeni katmandaki her bir nöron aynı yolla bağlanabilir.
Daha biçimsel olarak, r’ninci katmandaki nöron p = r + 1 girişe sahiptir. Lojistik aktivasyon fonksiyonu için, bu nöronun çıkışı olan zr aşağıdaki gibi yazılabilir,
r katman sayısını, u = (u1,…, up) r’ninci nöronun px1 giriş vektörüdür.
Örnek olarak Şekil 3 m=4 girişli ve r=3 katmanlı bir basamak ağını gösterir. Şekil 3’te tasvir edilen kareler sinaptik bağlantılarla beraber çıkış nöronu, z1 ve z2 çıkışlarıyla iki gizli nöron ve x1…x4girişlerini göstermektedir.
Şekil 3 Üç Katmanlı Eğitilmiş Basamak Ağı (Schetinin, 2005)
Böylece, yukarıda bahsedilen algoritmanın kullanımı, önceki özelliklerle birlikte katılan her özellik için çıkış hatasını azaltmak için bir ad hoc tutumu tahmin edilebilir. Bu çıkış hatası bir validasyon (doğrulama) veri kümesi ile değerlendirilir ise, alakasız gibi gereksiz özellikler sonuçtaki ağda müdahil olmaya olası olduğunu varsaymak doğaldır.
Düzenlilik kriteri, Cr, r’ninci nöron için görülmemiş örnekler ki bunlar nöronun sinaptik ağırlıkların uydurulması için kullanılmamıştır, üzerinde hesaplanır. Bu bağlamda Cr değerleri verilen bağlantılarla nöronun genelleştirilme kabiliyetine bağladır (Cr değeri sınıflandırılamamış validasyon (doğrulama) örneklerinin sayısına orantılı olarak artar). Diğer bir anlamda, r’ninci nöron alakasız bağlantılar ile tüm görülmemiş örnekleri doğru bir şekilde sınıflandıramayabilir ve bu yüzden Crdeğeri yüksek olması beklenir. Bu algoritmanın arkasındaki fikir, ilgili bağlantıları ile nöronların seçmek için yukarıda bahsi geçen kriteri kullanmaktır. Bu kriter şunu belirtir; eğer r’ninci nöron için hesaplanan Cr değeri önceki nöronda hesaplanan Cr-1 ‘den küçük ise, r’ninci nöron bağlantısı önceki katmandan daha uygundur, aksi halde onlar daha az uygundur. Eğer bu kural karşılanırsa, r’ninci nöronun ağırlıkları ve bağlantıları ağa eklenir. Verilen başarısız girişimler sonrasında bu kurala istinaden hiçbir nöron kabul edilmezse, algoritma durur ve r’ninci nöron minimum Cr değeri ile çıkış nöronu olarak kabul edilir (Schetinin, 2005).
Genetik Basamak Korelasyon Öğrenme Algoritması
Genetik algoritmalar, doğal seçim ilkelerine dayanan bir arama ve optimizasyon yöntemidir. Temel ilkeleri John Holland (1975) tarafından ortaya atılmıştır. Geleneksel optimizasyon yöntemlerine göre farklılıkları olan genetik algoritmalar, parametre kümesini değil kodlanmış biçimlerini kullanırlar. Olasılık kurallarına göre çalışan genetik algoritmalar, yalnızca amaç fonksiyonuna gereksinim duyar. Çözüm uzayının tamamını değil belirli bir kısmını tararlar. Böylece, etkin arama yaparak çok daha kısa bir sürede çözüme ulaşırlar (Goldberg, 1989). Diğer bir önemli üstünlükleri ise çözümlerden oluşan populasyonu eş zamanlı incelemeleri ve böylelikle lokal en iyi çözümlere takılmamalarıdır (Emel ve Taşkın, 2002).
Quickprop algoritması yerine kullanılan genetik algoritması da geri yayılımlı algoritmaya karşın bazı avantajları mevcuttur. Özellikle, bu iki algoritmada lokal minimuma yakınsama olasılığını azaltmayı ve gradyan bilgisi olmamasına karşın uygulamayı desteklemeyi içerir. Fahlman gradyan inişi potansiyel problemde lokal minimum çözümü yakınsamasında korelasyonda basamak korelasyonu aday birimlerin olduğu popülasyonun eğitiminde en fazla ilişkili olanı seçer ve ağa onu ekler ve bunun için küçük bir popülasyon-4 ila 8 birim- kullanırken hiçbirinin birbirleriyle iletişime geçmemesini sağlar. Genetik algoritmalar genellikle çok daha büyük nüfusları korur ve çapraz rekombinasyon operatörü aracılığıyla bireylerin etkileşimini kullanır (Potter, 1992).
Genetik algoritmalar ile sinir ağlarını eğitmek için çeşitli başarılar elde edilmiştir. Montana ve Davis sonar veri analizi alanında dizi karakterizasyonunu yapmak için genetik algoritma kullanımı ile bir sinir ağı eğitmiştir (Montana ve Davis, 1989). Yaptıkları çalışma ile genetik algoritma geri yayılıma nazaran daha iyi sonuçlar vermiştir. Ek olarak, Whitley ve Hanson bazı klasik ileri beslemeli test olgularını çözmek için ki bunlar exclusive-or problemi, 424-encoder, ve two-bit adder, genetik algoritmaları kullanarak sinir ağlarını eğitmişlerdir (Whitley ve Hanson 1989). Ayrıca, Whitley ve arkadaşlarının tespitine göre geleneksel genetik algoritmalar daha büyük ağlara uygulandığı zaman, kabul edilebilir bir çözüm ağırlık bağlantısını bulmakta sık sık hata vermektedir (Whitley vd. 1989, 1990, ve 1991)
Basamak Korelasyon Sinir Ağlarını Budama
Basamak korelasyon mimari uyarlaması uygulamanın ağ topolojisine uyar, fakat nöronlar boyunca sabit bir bağlantı şeması kullanır. Bu şema her bir durum için geçerli olmayabilir. Bu problemi yenmek için ağ çıkışında en az etkisi olan bağlantılar bulunur ve çıkartılırlar. Daha az bağlantı ağın genelleştirme yeterliliğini ve öğrenme hızını geliştirebilir, eğer ilgilenilmezse bu ağın yaklaşım gücünü de azaltabilir. Thivierge ve arkadaşları (2003) BKSA’nın en az önem niteliği taşıyan bağlantılarını budamak için optimum beyin hasarı (optimal brain damage (OBD)) metodunu kullanmışlardır. OBD tekniği her bir bağlantı için çıkıntı değerlerini ki bu ağ çıkışında bağlantının etkisini ölçer, hesaplar. Bu değer hata fonksiyonunun ikinci dereceden Taylor tahminini ihmal ederek hesaplanır. Ortalama karesel hata kullanımı denklemi aşağıdaki hale getirir,
Burada O çıkış nöronların kümesini, yo ise o nöronunun çıkışını, ts;o nöron o ve örnek s için istenen çıkışı ve s(w) bağlantının w ağırlığına bağlı çıkıntı değerini gösterir. Sonrasında daha az çıkıntı değerleri olan bağlantılar budanabilir. BKSA’larında OBD tekniği hem aday eğitiminin sonunda giriş bağlantılarını budamak için hem de eğitim adımının sonunda çıkış bağlantılarını budamak için kullanılır (Thivierge vd, 2003). Thivierge ve arkadaşları sınıflandırma problemleri üzerinde bu yöntemi test etmişler ve OBD tekniği bağlantıların yarısını kaldırmış ve genelleştirme yeteneği görülmemiş örnekler üzerinde geliştirilmiştir (Bal´azs, 2009).
Bilgi Tabanlı ve Kural Tabanlı Basamak Korelasyon Ağı
Birçok uygulamada büyük miktarda problem hakkında öncül bilgi mevcuttur. Tamamıyla yeni bir yaklaşım kurmak yerine mevcut bilgiyi daha hızlı ve daha iyi bir sonuç almak için kullanmak cazip gelmektedir. Schultz ve Rivest (2001) tarafından yayımlanan çalışma bilgi tabanlı basamak korelasyon (BTBK) sinir ağlarını işaret etmektedir (Şekil 1). BTBK ağları tek aday birimler olarak önceden eğitilmiş modülleri kullanır ve eğer çözüm için onlar istenirse ağın içine inşa eder. Bu modüller, iç içe ağlar gibi hareket eder, birçok giriş bağlantılarını birleştirir ve basamak korelasyon ağının sahip olduğu gibi bir çok çıkış sağlar. Tek şart bu modüllerin türevi eğitim süreci için hesaplanır olmasıdır. BTBK birçok oyuncak ve gerçekçi örnekler üzerinde test edilmiştir. Bu örnekler çeşitli geometrik biçimler, sesli harf tanımı ve gen ekleme tayini içermekte olup önemli ölçüde çoklu görev öğrenme metodları üstün olmuştur (Schultz ve Rivest, 2001). Aynı zamanda bu örnekler üzerinden bilgi tabanlı yapay sinir ağları (BTYSA) algoritmaları da kullanılmış ve iyi sonuçlar elde edilmiştir (Schultz vd, 2006).
BTBK’nın en büyük limitlerinden birisi eğer kompleks modüller kullanılmışsa, hesaplama olarak pahalı olabilir. Diğer bir ciddi sorun ise BTBK genellikle tek aday nöronlar yerine bu kompleks modülleri seçer, çünkü bir tek eğitim adımı altında sonuçlar daha doğru olabilir. Her zaman yararlı olmayabilir ve gelecek araştırmalara ışık tutmak namına aday modüllerin komleksitesi cezalandırılmalıdır.
Kural tabanlı basamak korelasyon (KTBK) sinir ağları Thivierge ve arkadaşları (2004) tarafından BTBK’nın bir çeşidi olarak yayımlanmıştır. KTBK ağları kural tabanlı ağlar oluşturmak için kural tabanlı öncelikli bilgiyi kullanır. Bunlar sadece ‘OR’ ve ‘AND’ kurallarını yaratan kural tabanlı yapay sinir ağları (KTYSA)’nın genelleştirilmiş hali olarak düşünülebilir. KTBK ağları herhangi m-n kuralı yaratabilir (m notasyonu n’lerin arasında seçilen özellik sayısıdır. KTBK, gen ekleme tayini problemi üzerinde KTYSA, BK ve BTBK’dan daha iyi sonuçlar göstermiş olup (Schultz, 2007), henüz kapsamlı bir karşılaştırma yayımına rastlanılmamaktadır (Bal´azs, 2009).
Şekil 1 BTBK Ağı (varsayımsal olarak iki tane kaynak ağ ve bir sigmoid ağ içerir. Kesikli çizgiler tek bir bağlantı ağırlığını, ince çizgiler ağırlık vektörlerini ve kalın çizgiler ise ağırlık matrislerini temsil eder. Ok ise aktivasyon akış yönünü gösterir) (Schultz vd, 2006)
Nilgün ŞENGÖZ
http://www.derinogrenme.com/
Nilgün ŞENGÖZ Kimdir?
1985 Malatya Doğumlu olan Nilgün ŞENGÖZ, Atılım Üniversitesi Endüstri Mühendisliği (İngilizce) mezunudur. Yüksek Lisansını Süleyman Demirel Üniversitesin Endüstri Mühendisliği bölümünde ‘Yapay Zekâ Metotlarında Sınıflandırma Problemleri’ başlığı altında tamamlayıp, Yüksek Mühendis unvanını almıştır. Bu arada Orta Doğu Teknik Üniversitesinde (ODTÜ) gerçekleştirilen ‘Makine Öğrenmesi (Machine Learning)’ ve ‘Derin Öğrenme Yaz Okulu (Summer School for Deep Learning)’ programlarını burslu olarak kazanmıştır. Akademik hayatına Süleyman Demirel Üniversitesi Bilgisayar Mühendisliği, Bilgisayar Yazılım Ana Bilim Dalında Doktora Öğrencisi olarak sürdürmektedir.
