Makine öğrenmesi alanında yapay sinir ağları birçok problemin çözümünde sıklıkla kullanılmıştır. Ancak “Yapay Zeka Kış Uykusu” olarak da adlandırılan dönemde başta donanımsal kısıtlamalar ve diğer problemler sebebiyle bu alandaki çalışmalar durma noktasına gelmiştir.
2000’lerin başında tekrar gözde bir alan olmaya başlayan yapay sinir ağları, GPU gelişmeleriyle birlikte sığ ağlardan derin ağlara geçiş yapmıştır. Bu yaklaşım görüntü işlemeden, doğal dil işlemeye, medikal uygulamalardan aktivite tanımaya kadar oldukça geniş bir yelpazede başarıyla kullanılmaya başlanmıştır. Bu çalışmada, derin öğrenmenin tarihçesi, kullanılan yöntemler ve uygulama alanlarına göre ayrılmış çalışmalar anlatılmıştır.
Ayrıca son yıllarda kullanılan kütüphaneler ve derin öğrenme üzerine yoğunlaşan çalışma grupları hakkında da bilgiler verilmiştir. Bu çalışmanın amacı, hem araştırmacılara derin öğrenme konusundaki gelişmeleri anlatmak, hem de derin öğrenme ile çalışılacak muhtemel konuları vermektir.
Doğal dil işleme, makine öğrenmesi alanlarında derin öğrenme yaklaşımları sayesinde 2000’li yıllarda büyük sekteye uğrayan yapay zekaya dayalı yöntemleri tekrar ön plana çıkarmıştır. Yapay sinir ağlarındaki (YSA) gizli katman ve düğüm sayılarının artırılmasına karşın donanımsal gelişmelerin yetersiz kalması sebebiyle yapay zeka yöntemleri 2000’li yılların başında artık kullanılmamaktaydı. Ancak GPU ve diğer donanımsal gelişmeler sayesinde çok sayıda gizli katmandan oluşan yapay sinir ağları hesaplama maliyetleri düştüğünden, tekrar kullanılmaya başlanmıştır.
Derin öğrenme yaklaşımı çoklu soyutlama yapısı ile verinin temsillerini öğrenmek için bir araya getirilmiş çoklu işleme katmanlarında oluşur. Makine öğrenmesi yaklaşımlarının kalitesi doğru özelliklerin seçimine bağlıdır. Bu özellikleri ortaya çıkarmak için çeşitli önişlemler, boyut indirgeme, özellik seçme vb. işlemler yapılmaktadır. Bu aşamadaki maliyeti azaltmak için özelliklere olan bağımlılıktan kurtulmak gerekmektedir. Sınıflandırıcılar ve diğer tahmin sistemlerini tasarlarken, yapay zeka ile veriden faydalı bilgiyi (özellik) çıkarmak daha kolay ve az maliyetli olacaktır. Bu bağlamda derin öğrenme konusu temsili öğrenme ile çok sıkı ilişkilidir. Derin öğrenme algoritmaları özellikle 2005 yıllarından sonra birçok farklı alana uygulanmıştır. Bu çalışmalar ayrıntılarıyla sonraki bölümlerde anlatılacaktır.
