Büyük Veri

Büyük Veri Nedir?

Teknolojinin de gelişmesiyle birlikte yeni kavramlar ortaya çıkmakta ve bu kavramlar popülerleşmektedir. Büyük Veri (Big Data) kavramı da son yıllarda sıklıkla duyulan ve internet kullanan herkesin büyümesine ve gelişmesine katkı sağlayan bir kavramdır. Büyük Veri ile gözlemlerden, araştırmalardan, arama motorlarından, bloglardan, forumlardan, sosyal medyadan ve diğer birçok kaynaktan elde edilen veriler anlamlı ve işlenebilir bir hale getirilir.

Büyük Veri, daha fazla çeşitlilik içeren ve hacmi hızla artan verilerdir. Bu durum aynı zamanda Üç V (volume, velocity, variety) yani hacim, hız ve çeşitlilik olarak da ifade edilebilir. Bu bağlamda, kısaca, büyük veri geleneksel veri işleme yazılımlarının başa çıkamadığı kadar büyük hacimdeki verileri çözümlemektedir.

Veriler aşağıda verilen üç aşamada Büyük Veri haline gelir:
● Birleştirme: Birçok kaynaktan gelen verileri bir araya getirme aşamasıdır.
● Yönetme: Bu aşamada veriler yönetilir. Yüzlerce kaynaktan gelen milyonlarca veri bulut kullanılarak depolanır.
● Analiz Etme: Veriler bu aşamada analiz edilerek anlamlı hale getirilir. Büyük Verinin en önemli aşamasıdır.

Büyük Verinin 5 Bileşeni

Büyük Veriyi oluşturmak ve sonrasında kullanmak için 5 aşamadan geçmek gerekmektedir. Bu 5 bileşen aşağıda verilmiştir:
● Variety(Çeşitlilik): Toplanan verilerin türü birden fazla olabilir. Bu verilerin bütünleşik olmaları ve birbirlerine dönüşmeleri gerekmektedir.
● Velocity(Hız): Verinin alınma ve işlenme sürecine hız denmektedir. Bu süreçleri bitirme hızı ne kadar yüksekse o kadar değerlidir.
● Volume(Hacim): Verinin büyüklüğü için kullanılan bir kavramdır. Veri miktarı işlenen verinin büyüklüğüne göre artıp azalır.
● Verification(Doğrulama): Var olan milyonlarca verinin hangisinin doğru hangisinin yanlış olduğu sağlayan bileşendir. Böylelikle verilerin güvenliği sağlanmış olur.
● Value(Değer): Anlamlı olan veriler değerlidir ve bu bileşen de Büyük Verinin en önemli bileşenidir. Veri bir anlam ifade etmezse kullanılamaz, anlam ifade ettiğinde ise kuruma da değer katar.

Büyük Veri Teknolojileri Nelerdir?

Büyük Veri Teknolojileri, veri madenciliği, veri depolama, veri paylaşımı ve veri görselleştirmeyi içeren yazılımlara verilen isimdir. Büyük Veri Teknolojileri genel olarak verileri araştırmak ve dönüştürmek için kullanılan araçlar ve teknikleri içeren veri çerçevelerini kapsar. Büyük Veri Teknolojileri aşağıda verilen iki kola ayrılabilir:
● Operasyonel Büyük Veri Teknolojileri: Bu teknoloji ile çevrimiçi sistemler, sosyal medya ve büyük veri tabanlı analiz için kullanılan firmalardan gelen her türlü verinin tüketimi günlük olarak izlenebilir.
● Analitik Büyük Veri Teknolojileri: Bu teknoloji gelişmiş bir Büyük Veri versiyonu olarak kabul edilebilir. Stok pazarlama, hava tahmini, zaman serisi analizi ve tıbbi sağlık kayıtları gibi alanlar Analitik Büyük Veri Teknolojileri tarafından ele alınır.

Aşağıda günümüzde popüler olan 10 adet Büyük Veri Teknolojileri örneği verilmiştir:
● Yapay Zeka (Artificial Intelligence – AI)
● NoSQL Veritabanı
● R Programlama
● Veri Gölleri (Date Lakes)
● Tahmine Dayalı Analitik (Predictive Analytics)
● Apache Spark
● Normatif Analitik (Prescriptive Analytics)
● Bellek İçi Veritabanı (In-memory Database)
● Blockchain
● Hadoop Ekosistemi

Büyük Veri Nerelerde Kullanılır?

Çok fazla kişinin internet kullanmasından ve her kullanıcı için yeni veriler doğmasından dolayı özellikle de müşteri memnuniyeti gözeten firmalarca Büyük Veri oldukça popüler oldu. Ayrıca Büyük Verinin kolay ulaşılabilir bir araç olması ve kullanımının kolay olması da popülerliğinin artmasında büyük rol oynamaktadır. Büyük Verinin kullanıldığı alanlar aşağıda verilmiştir:
● Eğitim: Öğrenenlerin öğrenme ihtiyaçlarına ve davranışlarına yönelik öğrenme süreçlerinin tasarlanmasında Büyük Veri işlemeleri kullanılarak öğrenme sürecinin bireyselleştirilmesi sağlanır.
● Hastaneler: Hastalara yönelik etkili, bireysel ve kişiselleştirilmiş tıbbi hizmetler sunulabilmesi için Büyük Veri kullanılmaktadır.
● Hükümetler: Hükümetler, vatandaşlar için hükümetlerin bilgi ve hizmetleri işleyip saklama konusunda büyük ölçekli veriler ile çalışmak durumundadırlar. Örneğin, RTÜK gibi kuruluşlar var olan büyük hacimli verileri güvenlik açısından saklamak durumundadırlar. Bu noktada da Büyük Veri kullanılır.
● Enerji Firmaları: Bu firmalar, akıllı şebeke ve sayaçlar kullanarak, abonelerinin bireysel kullanımı ile oluşan verileri saklar ve işler. Bu süreçte Büyük Veriden yardım alırlar.
● İlaç Sanayisi: Bazı hastalıkların araştırılmasında büyük ölçekli genomik veri tabanları oluşturulur ve bunlar erişime açık olmak zorundadır. Bu araştırmalar geniş ölçekli olduğu için ilaç sanayileri Büyük Veri kullanarak milyonlarca veriyi işler ve anlamlı hale getirirler.
● Servis Sağlayıcı Firmalar: İnternet üzerindeki üretici ve tüketici veri üretiminin hızlandırılması, büyüyen bilginin harmanlanması, anlamlı hale getirilmesi ve dönüştürülerek kullanıma sunulması konusunda bu firmalar Büyük Veri kullanırlar.
● Bankalar: Büyük Veri bankalar tarafından da müşteriler ile ilgili verilerin toplanması ve internet bankacılığı gibi hizmetlerle müşteri memnuniyetinin arttırılması gibi konularda kullanılır.

Büyük Veri Analizi Nasıl Yapılır

Büyük Veri Analizi, web, mobil, e-posta, sosyal medya ve ağ bağlantılı akıllı cihazlar gibi çeşitli kaynaklardan gelen çeşitli, yüksek hacimli, yüksek hızlı veri kümelerinden içgörü toplamak, işlemek ve türetmek için kullanılan yöntem, araç ve uygulamaları kapsar.
Büyük Veri Analizi, yüksek hızdaki ve hacimdeki verileri anlamlı hale getirebilmek ve işlemek açısından önemlidir. Böylelikle firmalar müşterileri veya kendileri için var olan tüm verileri işleyerek yararlı hale getirebilirler.

Büyük Veri Analizi, aşağıda verilen 4 aşamada çalışır:
● Toplama: Bu aşamada yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış formlarda gelen veriler web, mobil ve bulut gibi birçok kaynakta toplanarak daha sonra işlenmek üzere bir havuzda saklanır.
● İşleme: Bu aşamada saklanan veriler doğrulanır, sıralanır ve filtrelenir.
● Temizleme: Bu aşamada ise işleme sonrasında veri kümelerindeki çakışmalar, fazlalıklar ve geçersiz/eksik alanlar düzeltilir ve temizlenir.
● Analiz: Son olarak, analiz edilmeye hazır olan veriler veri madenciliği, yapay zeka, tahmine dayalı analiz, makine öğrenmesi ve istatistiksel analiz gibi araçlar ve teknolojiler aracılığıyla anlamlandırılır yani analiz edilir.

Büyük Veri Çözümlerini Kim Sağlar?

Büyük Veri çözümlemeleri Büyük Veri mühendisleri tarafından yapılmaktadır. Büyük Veri mühendisi, dağınık halde bulunan çok miktarda ve çeşitliliğe sahip olan verileri bir sistematiğe göre sınıflandırarak anlaşılabilir ve kullanılabilir hale getirir. Bu sayede çalıştığı şirket veya firma için bir değer yaratır.

Büyük Veri mühendisinin temel görevleri aşağıda verilmiştir:
● Büyük Veri toplamak,
● Veriyi anlamlı bir şekilde sınıflandırmak ve kullanılabilir bir hale getirmek,
● Kurum veya şirketin veri odaklı karar alma ve yönetme süreçlerinde fayda sunmak,
● Büyük Veri yazılım projelerinin tasarımını ve uygulamasını gerçekleştirmek,
● Gerçekleştirilen projeleri gözden geçirerek gerekli düzeltme ve düzenlemelerin yapılmasını sağlamak.