Büyük Veri (Big Data) gerçekten ne kadar büyük?

OGÜNhaber - Özel Bu yeni tanımın derinliklerine inmeden önce iş dünyasıyla ilgili bazı gerçeklere göz atalım.

Son yıllarda iş dünyasının karşı karşıya kaldığı global ekonomik krizin artan derin etkileriyle, şirketler karlarını arttırabilmek ve operasyonel maliyet değerlerini düşürebilmek icin çok büyük yükler altına girmişlerdir.

Büyümekte olan işletmeler kendilerine yeni ve daha ileri seviyede hedefler belirlemedikleri takdirde piyasadaki pozisyonlarını daha onceki yıllara oranla, beklenilenden çok daha kısa süre içerisinde tehlike altına alacaklardır.

Öyle ki işletmelerinin gelecek vizyonuna paralel, direk müşteri kitlesini net bir şekilde hedefleyebilmek, bu direk müşteri hedefli pazarlama stratejisi başarısını yakalayabilecek etkin dağıtım kanallarını yeniden tanımlayabilmek zorunluluğunu doğurmuş, sürekli değişim halinde olan, dinamik işletme ve pazarlama stratejilerini de beraberinde getirmiştir.



Her geçen gün çok daha hızlı ve dinamik bir şekilde değişmekte olan endüstri ve iş piyasasına adaptasyon, işletmelerin ürün ve servislerini başarıyla hedef tüketici kitlesine satabilmek için bu kitleyle empati kurabilecek işletme yönetimi sistemlerine gereksinimini ve görsel veri analizinin operasyonel iş yönetiminin bir parçası olması gerekliliğini beraberinde getirmistir.

Bir de bütün bu gereksinimlerin yanında, üst düzey yöneticilerin tatmin etmesi gereken yönetim kurulu üyelerini de hesaba katmak gerekir. Bunu da hesaba katarak veri analizlerinin şirket başarısına direk etkisi gün geçtikçe daha da belirginleşecektir. Şirketler ne kadar şeffaflaşsa da bir o kadar da hızlıca değişen dinamik iş dünyası içerisinde geleceğe yönelik pazarlama hedeflerini hızlıca belirleyebilmeleri de büyük bir öneme sahiptir.

İŞLETMELERİN İHTİYAÇLARI
Bunun da ötesinde, işletmeler her yeni bir ürün, kampanya  yada hizmeti piyasaya sürmeleri gerektiklerinde, mevcut olan isletme stratejilerini dinamik olarak hatta anlık analizlerle gözden geçirmeli ve şu sorulara yanıt aramalıdırlar:

Hedef tuketici kitlem ne çeşit bir ürünle ilgilenmektedir?

Ne çeşit dağıtım kanalına yatırım yapmak gerekir?

Hangi satıs-pazarlama tekniği en etkili tekniktir?

Gelecek yıl yeni mağazamızı nerede açmalıyız?

Ürünlerimizin nakliyesini en iyi şekilde nasıl yapabiliriz?

Kaynaklarımızı en etkin şekilde nasıl kullanabilirim?

Piyasadaki rakiplerimi nasıl geride bırakabilirim?

360 derece müşteri profilim nedir?  

Gerçekten bilgi çöplüğünde mi yaşıyoruz
Teknolojinin ilerlemesi ve internetin gelişmesi ile beraber günümüzde bilginin gücü de ön plana çıktı ve bununla beraber internet dünyasında ' Bilgi Çöplüğü ' sıkça karşımıza çıkan yeni bir terim olarak yerini aldı. Bu çöplükten anlamlı verilerin de çıkabileceğini düşünen yazılım şirketleri, AR-GE çalışmalarını bu alandaa yürüterek Big Data olarak isimlendirdiğimiz tanımı ortaya çıkarttılar.

Big Data, sosyal medya paylaşımları, fotoğraf arşivlerimiz, sürekli kayıt aldığımız log dosyaları gibi farklı kaynaklardan elde ettiğimiz tüm bu verilerin anlamlı ve işlenebilir hale dönüştürülmüş biçimidir.

Hızlı ve çok dinamik bir şekilde gelişmekte olan teknoloji dünyası, sosyal medya ve Bulut Bilişim'in de etkileri sayesinde çok yüksek oranda veriler üretmektedir. Önceler de bilgi çöplüğü olarak adlandırdığımız bu veriler şimdiler de hayati önem kazanmış durumda. Big Data terimi bilgi işlem teknolojisinin tarihsel boyutuna direk etkisinden dolayı devrimsel büyük bir etki dalgası yaratmıştır. Özellikle uluslararası platformda lider yatırım ve fon şirketlerinin big data teknolojisine büyük yatırımlar yapmaları bu etkiyi maksimum oranda hızlandırmıştır.

Büyük Veri, yaklaşık son 3-4 senedir, bilimadamlarının ve istatistikçilerin veri üzerinde ki yoğun araştırma çalısmalarının artmasıyla, örneğin İsviçre'deki Cern Araştırması gibi, sosyal medyanın ilgisinin artması ve geniş bir teknoloji şemsiyesini içine almış olmasından dolayı çok daha hızlı ve etkin bir şekilde yaygınlasmıstır.

Lakin uzun veri setleri tek başına büyük veriyi tanımlamaya yetmez, bunun da nedeni; digitalize edilmiş bütün veriler big datanın kapsamı içerisindedir.

Büyük Veri dünya üzerinde digital veri transferi ile veri transferinde bulunmakta olan her bir bireyi kapsamına alır. Bu kisaca demektir ki, Big Data pek çoğumuzun tahminininden çok daha büyük bir sahayı kaplamaktadir.  



Klasik veritabanı işlemleri artık yetersiz
Günümüzde veritabanı uzmanları, aralarında ilişkilendirilen mevcut verileri ilişkisel veritabanlarında (relational databases) yapısal biçimde sınıflandırıyorlar. Şirket yöneticileri de bu veritabanlarında çalışan raporlama sistemleri aracılığıyla üretilen raporlar sayesinde kararlar alıyorlar. Bunu işletmelerin kullandıkları birçok ticari program yapabiliyor.

Fakat bu ilişkileri tam anlamıyla sağlayamayıp, sınıflandıramadığımız çok daha fazla veri kümeleri de mevcut. Şimdiye kadar tüm bu bilgiler bilgi çöplüğü olarak isimlendiriliyordu, çünkü bu verinin kullandığımız veritabanlarında tutulması ve raporlama sistemlerinde kullanılması çok zordu.

Yakın tarihe kadar mevcut veri, belirlenen sayısal, önceden tasarlanmış tablolarda muhafaza edilmekteydi. Ama artık, bir müşterinin facebook üzerindeki paylaşımlarını takip etmenin gerektiği durumlarda müşterinin resim, müzik ve video gibi verilerinde kullandığımız raporlama yazılımları ile ilişkilendirmenin zor olduğu veri tipleri dahil olmaktadır. Günümüzde artık, tüm bu verilerin kullanılması ihtiyaç haline geldi. Kısaca, amacımız bilgi çöplüğünden işimize yarayabilecek değerli veriler ortaya çıkarmak haline geldi.

Büyük veri (Big Data), algılayıcılar ve araçlar tarafından oluşturulan, bu konuda uzmanlaşmış kişiler tarafından yönetilen, büyük hacimli, çeşidi bol ve hızla gelen veriyi; toplama, saklama, temizleme, görselleştirme, analiz etme ve anlamlandırma işlemlerinin gerçekleştirilmesidir.

Bilgi çöplüğünden büyük veriye
1. Dünyadaki bütün verinin %90’ı son iki yılda oluşturulmuştur.

2. Dünya nüfusunun %40’ına denk gelen 2,923 milyon internet kullanıcısı bulunmaktadır. Online popülasyonun da %73,4’ü internete mobil telefonlarından erişmektedir.

3. 10,2 milyar dolar pazar hacmine sahip büyük verinin değerinin, 2017’de 53,4 milyar dolar olacağı tahmin edilmektedir.

4. Dijital dünyanın %70’i olan 900 exabyte veri kullanıcılar tarafından oluşturulmaktadır.

5. Firmalar, tüm verilerinin %80’ini saklamaktadırlar.

6. 2020 yılında verilerin üçte birinin bulutta saklanacağı öngörülmektedir.

7. Beyaz Saray, büyük veri projeleri için 200 milyon dolar yatırım yapmaktadır.

8. Veriye erişimin %10 artması Fortune 1000 şirketlerine 65,7 milyon dolar ek net gelir getirmektedir.

9. 2013’de 2.712.239.573 internet kullanıcısı, Google’da yaklaşık olarak 1,2 trilyon arama yapmıştır.

10. Günün her dakikasında 570’in üzerinde yeni web sitesi kurulmaktadır.

11. Her ay YouTube’u 1 milyar özgün kullanıcı ziyaret etmekte ve 6 milyar saatin üzerinde video izlemektedirler.

12. Aylık 271 milyon aktif kullanıcıya sahip olan Twitter’da günde 500 milyon tweet atılmaktadır.

13. Facebook’un 1,07 milyarı mobil olmak üzere 1,32 milyar aktif aylık kullanıcısı bulunmaktadır.

14. 200 milyon aktif aylık kullanıcısı olan Instagram’da günde 60 milyon fotoğraf paylaşılmaktadır.

15. LinkedIn, 200’ün üzerinde ülkeden 300 milyondan fazla üyeyi ve 3 milyondan fazla firmayı barındırmaktadır.

Büyük veri; verilerin dijitalleşmesi ve farklı boyutlarda alınan verilerin toplanıp, düzenlenmesiyle insan davranışlarını anlama, tahminler yapma ve işletmelerin sahip olduğu verilerden yola çıkarak akıllı yönetim imkânı sağlamaktadır.



Büyük Verinin Firmalara Sağladığı 5 Fayda
1.    Şirketler, dijital formatta daha fazla veri oluşturup, depolayarak ürün hakkında daha doğru ve ayrıntılı bilgi toplayabilir ve bu bilgileri performans artırıcı eylemlerde kullanma olanağına erişir.

2.    Büyük veri, dar segmentasyondaki müşterilere özel ürün veya hizmetleri sunma imkânı verir.

3.    Büyük verinin iyi analiz edilmesi derin ve karmaşık bilgiyi daha anlamlı hale getirerek, karar alma sürecinde markalara ciddi bir kolaylık sağlar.

4.    Firmalar bu veriyi kullanarak, geliştireceği bir sonraki ürün veya hizmet hakkında fikir sahibi olabilir.

5.    Daha önceden bilinmeyen, düşünülemeyen veya görülemeyen pek çok yeni bilginin elde edilmesine olanak sağlar.

Yukarıda görebileceğiniz gibi uygulama süreci gösterilen büyük verinin, büyük imkanlarından yararlanmak isteyen sektörler, aşağıdaki uygulamalar sayesinde zaman ve maliyetten kazanarak, kurumsal olarak daha isabetli stratejiler belirlemektedirler.

1.    İşletme: Müşteri kişiselleştirme, müşteri kaybı sebeplerini belirleme, dağıtım ve lojistik optimizasyonu

2.    Teknoloji: İşlem süresini azaltma, gerçek zamanlı analiz, kriz dönemlerinde hızlı cevap üretme, riskleri azaltmak için otomatik sistemler ile karar verme

3.    Sağlık: Hastalık tespiti, seyrinin takibi ve sağlığı güçlendirmek için kişisel DNA analizi yapma

4.    Kamu Sektörü: Verilere erişilebilirlik sağlayarak şeffaflık oluşturma, uygun ürün ve hizmetler için eylemlerin uyarlanması

5.    Perakende Satış: Mağaza davranış analizi, çeşitlilik ve fiyat optimizasyonu, ürün yerleştirme tasarımı, performansı geliştirme, işçi geliri optimizasyonu

6.    K işisel Konum Verileri: Akıllı yönlendirme, coğrafi hedefli reklamcılık, acil müdahale

7.    Akıllı Şehirler: Doğal kaynakların yönetilerek, sürdürülebilir ekonomik gelişmenin ve yüksek kaliteli yaşamın sağlanması

Büyük Veri (Big Data), Veri Bileşenleri
Big Data (Büyük Veri) nin oluşumunda 5 bileşen vardır. Bu bileşenler sırasıyla; variety, velocity, volume, verification ve value ‘dir. Genel olarak 5v şeklinde adlandırılmaktadır.



Variety (Çeşitlilik): Üretilen veriler genel olarak yapısal olmadığı ve bir çok farklı ortamdan elde edilen veri formatlarından oluştuklarından dolayı bütünleşik ve birbirlerine dönüştürülebiliyor olmaları gerekmektedir.

Velocity (Hız): Big data üretimi her geçen gün hızına hız katmakta ve bu veriler saniyede inanılmaz boyutlara ulaşmaktadır. Hızlı büyüyen veri, o veriye muhtaç olan işlem sayısının ve çeşitliliğinin de aynı hızda artması sonucunu ortaya çıkartmaktadır ve hem yazılımsal hemde donanımsal olarak bu yoğunluğu kaldırabilmeliyiz.

Volume (Miktar): Büyük veri olarak isimlendirdiğimiz verilerimiz her geçen gün hızına hız katarak artıyor olabilir, haliyle gelecekteki durumlarımızı da ön plana koyarak ileride bu veri yığınları ile nasıl başa çıkacağımızı iyi düşünmemiz ve planlarımızı bu doğrultuda yapmamız gerekmektedir.

Verification (Doğrulama): Bu kadar hızlı büyüyen verilerin akışı sırasında gelen verilerin güvenli olup olmadığını kontrol etmemiz gerektiği durumlarda da bir diğer veri bileşeni olarak Verification (Doğrulama) görülebilir. Bu veri doğru kişiler tarafından görülebilir veya saklı kalması gerekiyor olabilir.

Value (Değer): Belkide en önemli katmanlardan bir tanesi de “değer” katmanıdır, verilerimiz yukarıdaki veri bileşenlerinden filtrelendikten sonra büyük verinin üretimi ve işlenmesi katmanlarında elde edilen verilerin şirketimiz için artı değer sağlıyor olması gerekiyor.



Veri bilimci nasıl olunur
Big Data gerçekte Teknolojik ve Bilimsel bir devrimdir. Kullanmakta olduğumuz teknik altyapı ve yazılım çözümleri metodları artık mevcut olan veri kaynakları ve veri akımını yeterli hız ve kalite ile yönetememektedirler. Bu da işletmelerin müşteri memnuniyeti ve pazar paylarını olumsuz yönde etkilemektedir.

Artık şirketler çok daha hızlı veri  analizi yapabilmek için büyük bir mücadeleye girmişlerdir. Bu sebeple yeterince hıza ve yeterli veri analizi kalitesine sahip olmayan günümüz sistemleri tarihten çekilmeye mahkumlardir. Artık teknolojinin hızlı ivmesi gereği, çok daha hızlı, akıllı ve gerçek zamanlı analizler yapabilen sistemlere ihtiyaç vardır ve bu sistemlerde mevcuttur.

Orta ve büyük ölçekli şirketler için olabildiğince hızlı mevcut olan veri üzerinden yeterli kaliteli bilgiyi filtreleyebilmek ve kullanılabilir hale sunabilmek çok önemli bir faktördür. Bunu sağlamak sadece sistem işi değil bu konuda bilgi sahibi, tecrübeli ekipler kurulması gereklidir. Data Science Ekibi türkçe anlamıyla veri bilimci demektir.



Veriyle çalışan bir insansanız, ille de veri bilimci olmak zorunda değilsiniz. Bir veri denetim elemanı olarak çalışıyor ve hep böyle çalışacak olabilirsiz. Ya da bir veritabanı yöneticisisinizdir ve bu meslekten emekli olabilirsiniz. Sorun yok. Ama veri bilimci olmak istiyorsanız hayatınızda değişiklikler yapmanız gerekli.

Akademik kökenli bir veri bilimcisi adayı iseniz, piyasada kullanılan bilişim sistemlerine daha iyi hakim olmanız gerekir.

Veritabanı ya da veri ambarı kökenli bir bilişim uzmanı iseniz, matematik, istatistik, modelleme gibi konulara daha çok odaklanmalısınız.

Her durumda, görselleştirmeyle ilgili konulara daha fazla ilgi göstermeniz gerekir.

Kısaca, çok geniş bir alanla ve önemli zorluklarla karşı karşıyasınız; daha çok çalışmaya ve bunu sadece alınteri olarak değil, kendinizi, bakış açılarınızı geliştirme tarzında yapmaya hazır olmalısınız.

Zor olan daha çok çalışmak değil; her zaman bakmaya alışık olduğunuz bakış açılarından çıkıp yeni algı seviyelerine ve bakış açılarına ulaşmak.

Veri bilimcisi olmanız şart değil. Ama olmak istiyorsanız, dünün insanı ya da bugünün insanı değil, geleceğin insanı olmaya hazırlanın.



Bu konuda yurt dışında bizi temsil eden konunun uzmanı biri var; http://www.bigdataq.com 'un kurucusu Arzu Barské. Arzu hanım yurt dışında yaşayan bir Türk. O bir veri bilimci ve Big Data stratejisti. Kendi ekibi var ve uluslararası önemli bir şirketin büyük verilerini işlemekten sorumlu.

Arzu Barské kurucusu olduğu web sitesi haricinde de bu konuda bir de kitap yazmış. Big Data Business Guide isimli kitap şimdilik İngilizce versiyonuyla satışta.

Big data ile ilgili kendisinin görüşlerini şu şekilde aktardı; " Big Data sektörü geleceğin sektörü olma yolunda çok hızlı ilerlemekte. Verilerinin tümünü işleyemeyen şirketler rekabetten uzak kalacak ve hatta yok olabileceklerdir. Bu sektör de çalışan biri olarak şirketler için önemli olduğu kadar bu sektörde çalışmayı düşünenler içinde çok önemli.

Gelecekte ki en önemli işlerden biri haline gelen büyük veri bilimi istihdam anlamında da ülkelere çok faydalı bir sektör haline gelecek. Türkiye'de ki orta ve büyük ölçekli her şirketin bu konuda çalışan ekipleri olmak zorunda.

Tüm dünya da bu alanda çalışan sayısı gün geçtikçe artmakta. Türkiye'nin de bu konuda çok geride kalmaması iş dünyası açısından çok önemli. Şirketlerin, sert rekabetlerin yaşandığı bir dünyada ayakta kalabilmesinin ve geleceğe artan ivmeyle gidebilmesinin önünü açan Big Datayı çok önemseyip bir an önce bu konuda gerekli yatırımları yapmaları gerektiğini düşünüyorum.

Big Data sadece bir Trend değildir. Big dataya ihtiyaç gün geçtikçe artmaktadır ve bir gerekliliktir. Big data sayesinde şirketler ürün portfoylerini çok daha rahatlıkla genişletebilecekler ve gerekli olmayan ürün yada hizmetleri çok daha hızlı bir şekilde portföylerinden çıkartabileceklerdir.

Bu konunun önemini anlayabileceğiniz bir Türkcell örneğimiz vardır. Bazı büyük veri projeleri çok değerli pazarlama sonuçları elde etmiştir, mesela Türkcell telefon hattında problem yaşayan muşterilerini gerçek zamanlı tespit edip arayarak bu müsterilerine promosyon sunmaktadir. Bu kampanyanın sonucu olarak Türkcell mutlu müsteri oranını ciddi bir şekilde arttırmıstır. Aynı zamanda bu Big data projesi ile Gartner tarafından da basarı ödülüne layık görülmüştür."

Gerçek zamanlı veri analizi
Arzu Barské konuşmasına çok önemli bilgiler vererek devam etti;

Bir müşterinin internet servisinin bir kaç saatliğine kesildiğini düsünün. İnternet servisini veren şirket bu durumda 3 farklı şekilde müşterisine yardım servisi verebilir

1)    Müşteri internetinin kesik olduğunu gerçek zamanlı tespit edebilir. Müşterisini direk arar ve ona nasıl yardım edebileceğini sorar, yardım edemese dahi o an bir promosyon teklif eder.

2)    Gerçek zamanla tespit etmiş olduğu hata için müşterisine telafi amaçlı mail ile direk bir promosyon sunar.

3)    Hiç birşey yapmaz ve müşterisinin kendisini aramasını bekler.

Operasyon 1 ve 2 mutlu müşteriyi hedefler, operasyon 3 ise mutsuz bir müşteri kitlesi oluşturabilir ve hatta müşteri kaybına yol açabilir.

Gercek zamanli veri analizi yaninda gercek zamanli operasyonel karar verme ve karari devreye sokabilmek bu konuda yeterli şirket kültürü edinmek artık çok hayati öneme sahiptir."

Arzu hanımın anlattıklarından şu sonuca varabiliriz. Big data mevcut olan işletme operasyonunun yerini almayacaktır. Operasyon mekanizmasini çok etkin bir şekilde destekleyecek, kalite düzeyini ciddi oranda arttıracak, aynı zamanda ürün geliştirme ve üretimi etkinleştirebildiği gibi satış ve pazarlama öngörü algoritması yaratacaktır.



En kısa şekilde özetlemek gerekirse Big data ile;
- İşletme içi veriler ve bilgi alışverişi şeffaf hale gelecektir.

- Üst ve orta düzey yöneticilerin doğru veriye ulaşımı hızlanacak ve görselleşecektir.

- Departmanlar arası bilgi savaşı sonlandırılabilecektir.

- Üst düzey yönetimin işletme içi bilgi üzerindeki kontrolü ciddi oranda artacaktir.

- Proje yatırımının parasal geri dönüşü (ROI) değerleri % 284 oranda artacaktır.

- Veri/Bilgi, Performans Göstergesi(KPI)'nin onemli bir parcası olacaktır.

- Satis ve pazarlama tekniklerini yüksek düzeyde etkileyecek ve gelistirecektir

- Öngörü analizi ile çok daha müşteri odaklı ürünler ve servisler geliştirilebilecektir.

- Daha tutarlı ve gerçek zamanlı satıs metrikleri elde edilebilecektir.

- Borsa ve Piyasa değerini ölçmede gerçek zamanlı oldukları için büyük bir payları olacaktır.

- Bilimsel çalışmalar yoğunlaşacak ve toplum sağlığı ve yaşam standartları kalite olarak yukarı çekilecektir.

- Sosyal medyadan en etkili şekilde faydalanabilecek, müşteri mutluluğu yakalanacaktır.