Bulut depolama ve yedekleme hizmetleri sunan Amerikalı şirket Symform’da Ürün Yönetimi Başkan Yardımcısı olan Margaret Dawson, büyük veride başarılı olmanın 7 önemli adımını siz okuyucularımız için derledi. Ayrıca büyük veri kavramına kendi bakış açısı ile yaklaştı.
IT olarak, yeni trendler ve dillerden düşmeyecek sözler ortaya atmaya bayılırız. Modada olduğu gibi, biz de bazen 20 yıl öncesine gidiyoruz, ancak modada yapıldığının tersine biz yeni bir isim takarak herkesin bir an önce buna sahip olmak zorunda olduğunu söyleme yolunu seçiyoruz. IT’nin en yeni trendi ise büyük veri.
Interop’tan bulut konferanslarına, hatta ünlü çizgi karakter Dilbert’a kadar herkes, aslında bulut stratejisinden pek de farkı olmayan bir büyük veri stratejisine sahip olmazsak, geride kalacağımızı ve şirketimizin batmaya mahkum olduğunu söylüyor.
Büyük veri ile ilgili bilinmesi gereken üç önemli nokta bulunuyor. İlk olarak, büyük veri pek de yeni değil. Amazon, Microsoft ve Google gibi şirketler 90’lı yıllardan bu yana büyük veri çalışmaları yapıyorlar. Zaten birçok şirket, çok uzun yıllardır veri madenciliği yapıyor. Cüzdanları kalın ve merkezi bilgisayar sistemleri de büyük olan birkaç şirket tarafından erişilebilir veya karşılanabilir olsa da, büyük veri hep bir kenarda bulunuyordu. Bugün ise, bilişimin ve depolama alanlarının ucuzlaması ile yeni araçlar ve teknikler sayesinde, neredeyse herkes gelişmiş veri madenciliği yapabiliyor.
Hatta birçok insan, büyük verinin, iş zekasına verilen yeni bir isim olduğunu düşünüyor. Benzerlikler olsa da, büyük veri iş zekasının çok üzerine çıkıyor. Bu farkları tabloya döktük:
Bilinmesi gereken ikinci önemli nokta, “büyük” kısmının göreceli olduğu. Şu an tüm sektörler ve şirketlerde çok yüksek miktarda bir veri büyümesi var. IDC’ye göre, her saniye 58 terabayt’tan daha fazla veri yaratıyoruz ve 2020 yılında dijital ortamda depolanmış veri miktarımız 35 zetabayt olacak. Yine de büyük verinin devasa boyutlarda olması gerekmiyor. Boyutundan ziyade asıl önemli olan, büyük veri ile yapacaklarınız ve bunları işlemek için gereken süre. Örneğin 100 terabayt veriye sahip olan küçük boyutta bir işletme, ürünüyle ilgili farklı veri setlerini çıkarması, analiz etmesi ve karar vermesi gerekeceği için büyük veri sorunları yaşayabilir.
Üçüncü olarak ise, büyük veri işlemesinde kullanılan veri tanımının çok geniş bir alanı kapsamasını sayabiliriz. Hem yapısal, hem de yapısal olmayan verileri içerebilir. Bazı şirketler için ise en önemli büyük veri, metaveridir, yani veriyle ilgili veri. Gartner, büyük verideki veri özelliklerini; hacim, çeşitlilik ve hız üçgenine indirgeyerek başarılı bir şekilde tanımlamış.
McKinsey ise büyük veriyi, “boyutu tipik veri tabanı yazılım araçlarının tutamayacağı, depolayamayacağı, yönetemeyeceği ve analiz edemeyeceği kadar büyük olan veri setleri” olarak tanımlıyor. Ancak buna yapılması gereken eklemeler var. O veri setleri, onlarca, yüzlerce ve hatta binlerce sunucu (bulut) üzerinde çalışacak paralel yazılımlar (sistemler) gerektiriyor.
Büyük veriye dair ortak bir tanım yapmanın ötesinde, birçok firma için en büyük engel, başlamak olacak. Bulut bilişim ile birlikte, büyük veri çok büyük bir yatırım gerektiriyor. Bunun dışında farklı çözümlerin uygulanması, yeni IT ve iş süreçleri ile yeni bir seviyede iş çevikliği gerekiyor.
Büyük veride başarıya ulaşmak için uygulanması gereken 7 adımı sizler için yazdık.
- Adım: Bir sorununuz olduğunu kabul edin.Her zaman için en zor adım budur. 10 yıl önce, ağımızın artık güvenlik duvarları ve proxy ayarları tarafından korunamadığını kabul etmemiş ve altyapımızı çalışanların uzaktan erişimine açmak durumunda kalmıştık. Büyük veri ile, IT liderleri bir adım geri atmalı ve veri durumlarını değerlendirmelidir.
- Veri setleri ile baş edemiyor musunuz?
- Tüm verilerinizin nerede olduğunu bilmiyor musunuz?
- Liderler olarak, verilerinizden gereken bilgiyi alamıyor musunuz?
- İş liderleriniz karar verirken verilere başvurmuyor mu?
- İş politikası ve stratejik kararlar konusunda IT’yi daha etkili hâle getirmek için bir fırsat görüyor musunuz?
Siz de birçok firma gibi bu soruların bazılarına veya hepsine evet cevabı verdiyseniz, artık faydalı olmak için verilerinizin ve bu verilerden elde edilecek bilgilerin kontrolünü ele geçirmenin vakti gelmiş demektir.
- Adım: Büyük veri ile elde edebileceğiniz büyük fırsatın farkına varın. Bize sürekli iş ile daha ilgili olmamız söylenir. İş teknolojisi terimi uzun yıllardır etrafta dolanıyor, ancak son yazılımlarımızın veya işlemlerimizin, geliri veya küresel büyümeyi direkt olarak etkileyip etkilemediğini görmek her zaman öyle kolay olmuyor. Büyük veri ile bu zorluk aşılabilir. Nasıl mı? Bilgi güçtür ve liderlerin de yarışa katılmak, büyümek ve gelişmek için veriler arasında saklanmış bilgileri alması gerekmektedir. Satış departmanından pazarlamaya, hatta C’li yöneticilere kadar; çalışanların, müşterilerin ve piyasanın oluşturduğu veriler sebebiyle iş çığırından çıkmış durumda. Bu verilerin kısa ve gerçek zamanlı bilgileri ile analizini elde etme imkanı bulduğunuz zaman da, gelire büyük katkı sağlayacaksınız.
- Adım: Büyük veri planınızı oluşturun.Bütün planlarınıza uygulamanız gerektiği gibi, büyük veri planınıza da kafanızda bir sonuç ile başlayın. Şirketin ne bilmesi gerekiyor? Hangi sorulara cevap arıyor? Hadoop ile oynamaya başlamadan önce bunlara bir cevap bulun ve bir müşterek anlaşma imzalayın. Bunları yapmanızın tek amacı, iş zekasından sonra başarıya ulaşmak. Ardından, bu aşırı basitleştirilmiş ve her biri kurumunuza bağlı olarak haftalar, belki aylar sürebilecek adımları izleyin.
- Büyük veri denkleminizin parçası olan verileri ayıklayın.
- “Ürün” büyük verisini, “şirket” büyük verisinden ayırın. Örneğin İK analizleri için gerekli çalışan verilerinin, e-ticaret platformundaki ürün arama veya müşteri verilerinden ayrı olduğundan emin olun.
- Verinizin zirve yaptığı ve dibe vurduğu noktaların farkında olun.
- Hangi teknolojilerin gerçek zamanlı büyük veri işleme yapabildiğini öğrenin.
- Kilit çözümler ve tedarikçiler belirleyin.
- Küçük başlayın, değerlendirin ve büyüyün. Hızlı bir şekilde başarabileceğiniz ve yatırımın geri dönüşünü alabileceğiniz bir proje gerçekleştirin. Sonra daha büyük bir büyük veri projesine geçin.
- Sürekli olarak analiz edin, düzenleyin ve bilgi verin. Büyük veri çeviktir ve sizin verileriniz, bilgileriniz ve gereklilikleriniz değiştikçe o da ayak uydurur.
- Adım: Dağınık düşünün.Büyük veri, sistemlerimiz ve altyapımızla ilgili düşünce tarzımızı değiştirmemizi gerektiriyor. Nasıl ki sanallaştırma, sunucuları ve uygulamaları kullanma şeklimizi kökünden değiştirdi, dağıtımlı sistemler ve işleme sayesinde de büyük verileri yönetebileceğiz. Dağıtımlı bir mimari sayesinde sorunları çok sayıda görev haline getirip, bu görevleri de farklı sistemlere dağıtabileceğiz. Esas iyi haber ise, gelişim için kullanabileceğimiz araçlar ve mimari çerçeveler bulunması. Cassandra, Hadoop, VMware, Red Hat gibi isimleri bunların arasında sayabiliriz.
Dağıtımlı sistemler yeni değil ancak büyük veri, ilk yaklaşımları çok daha farklı bir seviyeye çekiyor. Dağıtımlı yaklaşımlara birkaç örnek:
- Çok kullanıcılı mimari
- Dağıtımlı veri tabanı
- Sanallaştırma
- Çoklu kullanım
- Çok çekirdekli CPU’lar
- Paralel işleme
- Dağıtımlı dosya sistemleri
- Dağıtımlı yük dengeleme
- RAID algoritmaları
- Adım: Dağıtımlıdan, yerinden yönetime geçin.Birçok firma için en önemli değişim bu noktada yaşanıyor. Ve tam olarak bu noktada, bulut ile büyük veri bir araya geliyor. İnternet, dünyadaki en büyük dağıtımlı ve yerinden yönetilen sistem olduğu için, büyük veriyi uygulamaya koyarken internet omurgasını da olabildiğince desteklemek durumunda kalıyoruz.
Dağıtımlı oluşumlar ve hesap işleme konularında içimiz genellikle rahat olur. Ancak iş yerinden yönetimli bir konuma geçtiği zaman, sanki kontrolü kaybetmiş gibi hissederiz. Büyük veriye geçerken yerinden yönetimli bir yaklaşım uygulamak büyük önem taşıyor, çünkü tüm kullanılmayan oluşumlar ve depolama alanları, aşırı kurulum ve artık servisler sebebiyle boşa harcanmış oluyorlar.
Daha da önemlisi, dağıtımlı bileşenlerin, veri büyümesine tek başlarına ayak uydurma konusunda başarı sağlamaları çok zor. 2020 yılına kadar 35 zetabayt olması beklenen verilerden söz ediyoruz. Dünya genelinde rekor bir şekilde sayıları artan veri merkezleri bu hızla kurulmaya devam edilse bile, yeterince hızlı bir şekilde merkezi bir altyapı kurulması mümkün görünmüyor. IDC, 2020 yılına kadar yaratılan dijital veriler ile mevcut veri merkezi kapasitesi arasındaki farkın yüzde 60 kadar olacağını tahmin ediyor.
Ancak bunun bir sebebi de, elimizdeki kapasiteyi tamamen kullanamıyor olmamızdan kaynaklanıyor. Gartner, çoğu bilgisayarın, sunucunun ve ağın, olası bir yükseliş veya büyümeye karşı hazır olmak amacıyla yüzde 30 kapasite ile çalıştığını tahmin ediyor. Hiçbir zaman yüzde 90 veya yüzde 100 kapasite ile çalışamayacağımız için, elimizdeki fazladan kapasiteyi, yeni riskler oluşturmadan kullanabiliriz. Bu sayede milyonlarca dolar tasarrufun yanında, sahip olduğumuz altyapının toplam mülkiyet maliyetini de düşürebiliriz.
Yerinden yönetimin kilit özellikleri:
- Merkezi bir engel yok
- Büyük sayıların gücü
- Kapasitede doğal, talebe göre artan büyüme
- Hassas mevcut altyapılar ve cihazlara öncelik
- Bilgi paylaşımı
- Topluluğa katkı konsepti
- Herkesin güvenilmez olduğu fikri
- Sahiplik ve katılımın,
- Maliyetin,
- Gider yönetiminin,
- Risklerin coğrafi yayılımı
Günümüzün yerinden yönetimli yaklaşımlarına güzel örnekler var. Yerinden yönetimi, bir açık kaynak hareketi olarak görmek, en iyi bilinen örneklerden birisi olabilir. Açık kaynak hareketini destekleyen programcılar, açık kaynak topluluğuna gönüllü olarak kod yazarak ve yazılım geliştirmesi için kodları takas ederek katkıda bulunurlar. Üst tarafta sözü geçen yerinden yönetimli yapıya geçiş tanımına bakacak olursanız, açık kaynak topluluğunun bu gelişmeye mükemmel bir örnek olduğunu görürsünüz. 10 yıl öncesine kadar, üretimde açık kaynak kodlarını kullanan şirketlerin sayısı çok düşükken, şu an bunu desteklemeyen şirketler azınlık hâline gelmiş durumda.
Devops topluluğunda, yerinden yönetilen sistemler için iki yeni örnek daha bulunuyor. Bunlara yerinden yönetilen bulut sistemleri diyebiliriz, CloudStack ve OpenStack. OpenStack hizmetini çok beğenmemizin sebebi, topluluk anlayışını benimsemesi veya IBM, HP, Cisco gibi firmaların kullanıyor olmasından ziyade, yerinden yönetilen mimarilerdeki kontrol sorununu, merkezi bir pano ve arayüz kullanarak çözmüş olması. Yerinden yönetime geçişin daha başlarındayız, ancak veri büyümesi bu hızla devam ederse, verileri işlemek, analiz etmek ve sonrasında kararlar almak için önümüzdeki beş yıl içerisinde bu sistemin önemli bir rol oynayacağını söyleyebiliriz.
- Adım: Doğru insanları işe alın, doğru yetenekler arayın.Birçok defalar bulutun gelmesi ile IT’deki iş yükünün azalmayacağı belirtildi. Bulut ile birlikte büyük verinin gelmesi, yeteneklerimizi ve bilgimizi de artırmamızı gerektiriyor. Veritabanı yöneticisi gibi mevcut mevkiler, büyük veri ile birlikte çok daha önemli bir role sahip olacak. Büyütülmesi ve ihtiyaç hâlinde IT’ye alınması gereken diğer mevkiler ise şöyle:
- Veri bilimcileri
- Mimarlar
- Kuramcılar
- İş analistleri
- UX/UI uzmanları
Bunlardan bazıları IT için çok uygun görünse de, geleneksel IT’de yeri olmayan iş analistleri ve UX/UI uzmanları konusunda çok soru alıyoruz. Bu ünvana sahip kişileri ürün yönetimine koyabilirsiniz ancak büyük veri çözümlerine ihtiyaç duyulduğunda, onları devops ekibiyle birlikte çalıştırmak durumundasınız. Bunun sebebi ise, büyük veri bilgilerini iş kısmında görselleştiremezseniz, başarıya ulaşamayacak olmanızdan kaynaklanıyor. Panolar, grafikler, anlaşılması kolay analizler çok önemli.
Bunun dışında, bulut uygulamalarınızı daha iyi yönetmek için devops ekibinize entegrasyon yapmadıysanız, bir an önce yapın. Dünyamız artık bu iki işlemi ayrı ayrı yönetemez. Bulut veya büyük veri stratejilerinin başarıya ulaşması için birleşmeleri ve ortak çalışmaları gerekmektedir.
- Adım: Büyük veri ile verilerinizi kullanın.IT görevlerinin, garip bir şekilde iş odaklı görünmeye başlamasıyla birlikte, IT’nin de değerlendirme yöntemlerini değiştirme gerekliliği doğmuş durumda. Büyük veri adaptasyonuyla birlikte IT ekibinde bulunan herkes belirli ölçütlere göre çalışmalı ve tüm çalışanların ana performans göstergesine yönelik bir tutkusu olmalı. Bunların da yalnızca vaktinde teslim veya kaliteli kod yazmakla sınırlı kalmayıp, iş ölçütleriyle de aynı eksende bulunması gerekiyor.
Gereken bu kültürel değişimi en iyi tanımlayan terim ise “büyüme korsanı.” Büyüme korsanları, ölçütlere yönelik çalışmayı seven, yaratıcı çözüm önerileri sunan ve rakamları yukarı ve olması gerektiği yere çekmek için durmaksızın yeni yollar arayan kişilere deniyor. Normalde bu sayılanlar, işletme tarafının yapacağı görevler olsa da, teknoloji ekiplerinin her bir üyesi de daha iyi sonuçlara ulaşmak için yeni yollar aramaya başlamalıdır.
Büyük veri, tüm dualarınıza cevap niteliğinde olmayabilir ancak IT’nin masaya oturması için bir fırsat olduğu aşikar. Büyük veri ile birlikte IT’nin söylemek istedikleri daha önce hiç olmadığı kadar yüksek sesle duyulacak.
