Veri bilimi, verilerden bilgi elde etmek için, sistemleri, süreçleri, bilimsel yolları kullanarak, veri ile ilgili her türlü konuyu inceleyen bilim dalıdır. Veri bilimi makine öğrenmesi, yapay zeka iş ve toplanan verilerin bir araya getirip bu bütünün hayatımıza etki etmesini sağlar. Veri bilimi ile günlük hayatımızdaki problemlerle ilgili verileri kullanıp bunlara çözümler üretip geleceğe dair bir takım tahminler yaparız. Bunu yapmak için elimizdeki veriye çeşitli makine öğrenmesi algoritmaları ile farklı açılar yükleriz. Sürecin sonunda ürettiğimiz çözümlerle bir yapay zeka örneği oluşturur diyebiliriz.
Veri Bilimi Ne Demek?
Veri bilimi, gelişen teknolojide işletmelerin kusursuz kararlar alması ve bilgiyi faydalı hale getirerek toplum yararına dönüştürmesi için kullanabileceği öngörüleri üretir. Veri, teknoloji ve bilimin toplumsal ve ekonomik yarar sağlayacak şekilde yenilenmesi sürecinin temel unsurudur. Temeli veri uzmanlarının sensörler, müşteriler, akıllı telefon ve tabletler, web siteleri gibi kaynaklardan toplanarak elde edeceği bilgilerden gelir. Son yıllarda veri biliminin karşımıza sıkça çıkmasının nedeni teknolojinin hızla gelişmiş olmasıdır.
Günümüzün en popüler araştırma ve uygulama alanlarının başında gelmektedir. Veri bilimine olan ilgi sayesinde günümüzde üniversitelerde bile bölümü vardır. Modern çağda sistemlere yüklenen veri hacimlerinde artış oldukça veri bilimi her geçen gün önem kazanmaktadır. Veri bilimi kendi içinde çok fazla detay ve branş bulunan bir bilim dalıdır.
Veri bilimci, gelecekle ilgili tahminleri gelişmiş yazılımlar kullanarak yorumlayan, bilgi ve çözüm odaklı, farklı araçlar kullanarak veri analizi yapabilen, bunları ayrıştıran kişidir. Veri bilimci, başmühendis, kıdemli analist, sistem müdürü ve benzeri birçok unvanı kapsar. Endüstriyel sistem alanlarını ve yapılarını kapsar. Araştırma teknolojisi, sağlık, dijital analitik sistemler, pazarlama, enerji, dolandırıcılık tespiti, astronomi, sosyal patform ağları, güvenlik, finans, hukuk, telekomünikasyon, hava durumu tahminleri gibi konuları içerir.
Veri Bilimi Nasıl Yapılır?
Projenin planlamasını yapın: Başlamadan önce projeye gerçekten ihtiyaç var mı? Size ve kurumunuza nasıl fayda sağlar? Bu adım projenin zaman, emek ve maliyet açısından planlamasını sağlar.
Bir yaklaşım belirleyerek hazırlanın: Doğru araçlara, verilere, bilgi kaynaklarına erişimi sağlayın.
Ekip ile tüm detayları paylaşın: Takıma dahil olanlarla gerekli bilgi alışverişini yapın. Planlamanız, iş bölümünüz, performansınız, hangi verilere ihtiyacınız olduğu, model yaklaşımınız, ne tür bir yol izleyeceğinizi detaylı olarak paylaşın. Geri bildirimler alın.
Gerekli verileri çalışma ortamına yükleyin: Elde ettiğinizi bütün verileri sisteme aktarın.
Verileri görselleştirin: Verileri keşfedin, analiz edin.
Modelinizi geliştirmeye başlayın: Modelinizi geliştirmek için detaylandırın. Gerekirse kendi algoritmanızı oluşturun. Kodlarınızı sade bir şekilde yazın, bu önemli bir adımdır. Dökümanları iyi tutun. Bu projenin sürekliliğini sağlar. Nerede, ne yaptığınızı bilmeniz ve sizden sonrakilerin kodu kolaylıkla anlayabilmesi için dokümantasyon saklama önemi bir adımdır.
Test etmek: Proje geliştirme aşamasında birçok hata ile karşılaşılır. Hataları gidermek için test aşaması yapılmalıdır.
Geri bildirim ve görüntüleme yapın: Projenin ne şekilde çalıştığını görmek için yapılır. Doğru çalışıp çalışmadığı geri bildirimlerle kontrol edilir. Probleminin çözümünün kullanılabilir olması için, görüntülerin güvenilir olması gerekmektedir.
Veri Biliminin Uğraşması Gereken İşler
Büyük miktarda olan verileri donanım ve yazılımla birlikte işlemek
Toplanan bütün veri kaynaklarını birleştirmek
Detaylı, farklı veri kaynaklarını bulmak
İstatistik ve matematik kaynaklı modeller oluşturmak
Tutarlı veri kümeleri sağlamak
Veriye uyumlu görseller yaratmak
Anlam bulabilmek
Bulunan anlamı insanlara anlatabilmek
Veri Bilimi Süreci Kimler Tarafından Yönetilir?
Veri bilimi yöneticileri: Proje ile ilgili olarak projenin gelişimini, iş akışını sistemli bir şekilde izleyen ekip kuruculardır. Veri ekibinin günlük faaliyetlerini denetler.
BT yöneticileri: Veri bilimi ekiplerinin düzenli ve sistemli çalışmasını sağlamak için sistemlerin güncel olmasını sağlar. Veri bilimi, projenin tamamlanmasını sağlamak için BT yöneticisi ile sıkı bir çalışma yürütür.
İş Yöneticileri: Proje ile ilgili ortaya çıkan sorunu çözmek için strateji oluştururlar. Finans, satış ve pazarlama bölüm yöneticileri olabilirler. Projeyi tamamlamak için, veri bilimi ve BT yöneticisi ile birlikte çalışırlar.
Veri Bilimİ Uygulamada Yaşanan Zorluklar
Şirketlerin birçoğu veri bilimine yatırımlar yapmış olmasına rağmen veri biliminden yeterli şekilde faydalanamıyor. İşletmelerin bazıları bu süreçte iyi çalışmayan araçları ve yetersiz çalışanları ile uygulamada zorluklar yaşayabiliyor. İlgili proje için BT yöneticisinin verilere erişim izni vermesi gerekli. BT’nin gerekli erişim iznini vermesi uzun sürebiliyor. Bu nedenle veri uzmanları gerekli veri analizlerini yapmak için uzun süre erişim izni bekliyor. Bazı işlemler de haftalar ya da aylar süren durumlar olabiliyor. Bu da veri uzmanlarının verimli çalışmasını engelliyor.
BT çalışanlarının departmanlara desteği uzun sürüyor. BT farklı departmanlara da destek veriyor. Örneğin finans bölümündeki veri uzmanı, satın alma bölümündeki veri uzmanından değişik araçlar kullanabilir. Değişik iş akışların sahip olabilirler. Bu nedenle BT bölümünün devamlı olarak bu departmanlara destek vermesi ve güncel tutması gerekir. Bu nedenle uzun süreli desteklerde çok fazla zaman harcandığı için veri bilimi uygulamalarında sıkıntılar yaşanabilir.
Yöneticiler veri bilimi iş akışının uzun sürdüğünü düşünebiliyor. Veri bilimi süreçleri, iş uygulama süreçleriyle her zaman uyumlu olmayabilir. Bu durumda yöneticiler veri uzmanlarına destek vermek istemeyebilir. Yöneticiler veri biliminin ilk aşamasından üretime kadar olan iş akış aşamasını çok fazla uzun sürdüğünü düşündükleri veri bilimi projelerine yatırım yapılmasına destek vermek istemiyorlar. Makine öğrenimine erişilemiyor. Bazen makine öğrenimi modellerinin kodlanması gerekebiliyor. Erişim noktaları sabit olduğu için modellerin kodlanmasında sıkıntılar yaşanıyor. Bu durumda ölçeklenebilirliği yazılım geliştiricisi yapmak durumunda kalıyor.
Veri Biliminde İstatistik
Veriyi tanıyıp anlamlandırabilmek, bir model kurmak, başarılı ve anlamlı sonuçlara ulaşabilmek için en önemli kaynak istatistik. Problemi anlayıp, çözüp bir sonuç elde etmek için aşağıdaki süreçler gerekir:
Veri Toplama: Ulaşmak istediğimiz çalışmaların ilk adımı veri toplama ile başlar. Anket ve gözlem olmak üzere iki şekilde veri toplanabilir. Bazı durumlarda zaman, maliyet, pratiklik gibi nedenlerle gözlem değerlerine ulaşılamayabilir. Bu durumda alt gruplara örneklem, grubun tamamında ana kütle denen gruplara ulaşılır. Örneklem; problemin çözümüne giden, verilerin kaliteli ve tarafsız olarak toplanmasını sağlar. Örneklem üzerinde analiz yaparak ana kütle için neredeyse hatasız olarak bilgi sahibi oluruz.
Betimsel İstatistik: Verinin daha iyi anlaşılabilmesi için çeşitli matematiksel istatistikler çıkarılır. Sayısal bilgiler, çizgi, grafik, korelasyon vs. ile veriler görselleştirilir.
Çıkarımsal İstatistik: Makine öğrenmesi veya farklı metotlar kullanılarak bilgisayar dilleri ile istatiksel model kurulur. Modeller veri ile eğitilir. Tahminler oluşturulur. Tahminlerin problemlere nasıl uygulanacağı, sonuçları ve yararları araştırılır.
