Geçtiğimiz yıl büyük veri bulutu dağıtımları arttı. Büyük veri profesyonelleri tarafından yapılan araştırmalara göre ise iş zekâsı artık, büyük veri iş yükünün bir numaralı parçası…
2016 yılının geride kaldığı şu günlerde büyük veri alanındaki gelişmelerin belirli bir noktaya ulaştığını ve bulut ortamına doğru yöneldiğini söyleyebilmek mümkün. OLAP benzeri yapıların Hadoop ile kullanıldığı iş zekâsı çözümleri üzerine uzmanlaşan AtScale, Cloudera, Hortonworks, MapR, Cognizant, Trifacta ve Tableau ortaklığında 77 ülkedeki bin 400 farklı şirketin 2 bin 550 büyük veri profesyonelinin katılımıyla önemli bir çalışma gerçekleştirdi.
AtScale tarafından gerçekleştirilen 2016 Büyük Veri İlerleme Anketi sonuçlarına göre katılımcıların yüzde 70’i bir yılı aşkın süredir büyük veri çözümlerini kullanıyor (Bu oran geçtiğimiz yıl yüzde 59 idi). Katılımcıların yüzde 76’sı şu anda Hadoop kullanırken üretim sürecinde Hadoop kullanım oranı ise yüzde 73. (Bu oran geçtiğimiz yıl yüzde 65 idi.) Ayrıca katılımcıların yüzde 74’ü 10’dan fazla Hadoop düğüm noktasına, yüzde 20’si 100’den fazla Hadoop düğüm noktasına sahip.
“Disruptive Analytics” kitabının yazarı ve büyük veri analizi endüstri analisti Thomas Dinsmore, yapılan çalışmada katılımcıların kaydettiği ilerlemenin izlenmesinin en önemli nokta olduğunu ifade ediyor ve ekliyor: “Katılımcıların beşte biri 100’den fazla düğüm noktası kullanması ve yüzde 74’ünün üretim aşamasında büyük veriyi kullanması bu alandaki büyümenin bir yıllık süreçte iki haneli rakamlara ulaştığını ortaya koyuyor.”
Büyük veri analizlerinin bulut ortamına taşınması katılımcılar tarafından belirtilen bir diğer dikkat çekici nokta olarak ön plana çıkıyor. Katılımcıların yüzde 53’ü büyük veri altyapısının bulut ortamı için kullanılan bir kısmının bulunduğunu belirtirken, yüzde 14’ü büyük veri altyapısının tamamıyla bulut ortamında olduğunu belirtiyor. Katılımcıların yüzde 72’si yakın gelecekte büyük verinin bulut ortamında dağıtımını gerçekleştirmeyi planladıklarını belirtiyor.
AtScale şirketinin kurucu ortağı ve CTO’su Matt Baird, büyük verinin bulut desteği ile kullanılması konusuna geçen yıl gösterilen ilgiye dikkat çekerek verinin bulut ortamında yer almasının önemli faydalar sağladığını belirtiyor.
Dış kaynaklı Hadoop cazip bir çözüm olarak ön plana çıkıyor
AtScale şirketinin CEO’su ve kurucusu Dave Mariani, Hadoop altyapısının geliştirilmesi ve dağıtımı zor bir altyapı olduğunu dile getirirken hizmet sağladıkları pek çok müşterinin Hadoop kümelerini yönetmek konusunda endişelenmediğine dikkat çekiyor. Nesne depolamanın katman olarak kullanılması, hem yeni düğüm noktalarının oluşturulması hem de kullanılan düğüm noktalarının azaltılması konularında dış kaynaklı Hadoop altyapıları ile şirket içerisindeki Hadoop altyapıları arasında önemli farklılıklar bulunuyor.
Büyük veri altyapısının daha gelişmiş hale gelmesi öncelik verilen alanlardaki değişimi beraberinde getiriyor.
AtScale şirketinin CTO’su Brunei Aziza, geçtiğimiz yıl veri biliminden ve iş zekâsından daha öncelikli çalışmaların ETL (Extract, Transform, Load – Çıkar, Dönüştür, Yükle) alanındaki çalışmalar olduğunu belirtiyor. Aziza’ya göre iş zekâsı konusundaki çalışmalar en öncelikli çalışma alanı olarak ön plana çıkacak.
İş zekâsı kapsamlı çalışma gerektiren alanlar arasında yer alıyor
Çıkar, dönüştür, yükle ve veri bilimi konularındaki çalışmalar büyük veri alanında en çok odaklanılan konular olarak ön plana çıkıyor. Fakat katılımcıların yüzde 75’ine göre geçtiğimiz yılın en çok konuşulan konularından birisi olan iş zekâsı yoğun çalışmaların yapıldığı bir diğer alan olma niteliği taşıyor. Şu ana kadar ortaya çıkan sonuçları iş zekâsının en yoğun çalışmalar yapılan alanlardan birisi olduğunu doğruluyor. Katılımcıların yüzde 97’si büyük veri teknolojileri konusunda önümüzdeki üç aylık süreç içerisinde çok daha fazla çalışma gerçekleştireceğini ifade ediyor.
Spark konusunda konuşulan pek çok detay olmasına karşın katılımcıların yüzde 42’si Spark’ı henüz eğitime amaçlı kullandıklarını ve şu an için Spark ile geliştirdikleri herhangi bir proje bulunmadığını ifade ediyor. Katılımcıların üçte biri şu an için Spark’ın geliştirme sürecinde olduğunu, yüzde 25’i Spark’ın geliştirme ve üretim süreci için dağıtımını gerçekleştirdiklerini belirtiyor.
Aziza, Spark konusunda heyecan verici pek çok gelişme yaşandığını fakat gerçek hayatta çok düşük düzeyde dağıtım gerçekleştirildiğini belirtiyor.
Hadoop ile ilgili planlamalara bakıldığında çoğu kişinin bir şeyler düşündüğünü belirten Mariani, Hadoop kullanmaya başlayan pek çok organizasyonda Hive’nin kullanıldığına dikkat çekiyor. Mariani, Spark’ın hiçbir zaman için çıkart, dönüştür, yükle sürecinde kullanılmayacağını interaktif sorgularda ise Hive’den farklı olarak Spark veya Impala ile çalışmaların yürütülebileceğini ifade ediyor.
Spark’ı tercih eden ve dağıtımını gerçekleştiren organizasyonların yüzde 85’inin istenilen sonuca ulaşmış olması göz ardı edilmemesi gereken detayların arasında yer alıyor.
Büyük veri söz konusu olduğunda erişebilirlik, güvenlik ve kontrol gibi konuların her yıl hassasiyetin daha fazla arttığı alanlar arasında bulunduğunu söyleyebilmek mümkün. Katılımcıların yüzde 21’ine göre tüm bu hassasiyetlerin içerisinde en çok endişe duyulan konunun büyük veri altyapısının kontrolü olması büyük veri altyapısına hâkimiyetin en çok eksiklik hissedilen konu olarak ön plana çıktığına işaret ediyor.
