Teknolojinin hızla gelişmesi, fazlaca verinin elektronik ortama kaydedilmesini, saklanabilmesini ve gerektiğinde kolaylıkla erişilmesini sağladı. Cep telefonu, bilgisayar ve tabletlerden günlük tüm işlemlerimizi yapabilmekteyiz. Kişisel ya da işinize ait verilerinizin etken olarak muhafaza edilmesi data mining’i yani veri madenciliğini oluşturdu.
Veri madenciliği, büyük miktarlarda bilginin toplanması ve içerisinden yararlı bilgilerin ayrıştırılmasıdır. Veriler işlenmediği sürece bir değer taşımazlar, yığın halinde yer alan tüm veriler işlenerek bilgiye dönüştürülür. Bilgisayar ortamında yer alan yığınla veri, veri madenciliği ile anlam kazanır ve ileriye yönelik olarak doğru tahminlerde bulunulmasını kolaylaştırır. Veri madenciliğinin temel amacının, şirketlerin ya da kurumların karar organları için değerli olan veriyi belirli yöntemler ve işlemler ile ortaya çıkarmak olduğunu söyleyebiliriz.
Veriler Nasıl Toplanır?
Verilerin 2 farklı biçimde toplandığından bahsedebiliriz. Açık ve Kapalı olmak üzere toplanır.
Açık veri toplama, sizin isteyerek verdiğiniz bilgilerden oluşur. Genellikle bir e-ticaret sitesine veya sosyal medyaya üye olurken sizden istenilen bilgiler ile oluşturulur. Siz, sisteme işlemeye başladıkça veri ambarı da dolmaya başlar. E-ticaret sitesine veya sosyal medyaya üye olurken sizden istenilen bilgiler ile oluşturulur. Siz, sisteme işlemeye başladıkça veri ambarı da dolmaya başlar.
Kapalı veri toplama da durum biraz değişmektedir. Üye olduğunuz site veya sosyal medya uygulamasında gezindiğiniz sayfalarla, ilgilendiğiniz mal ve hizmetler ile veriler toplanır ve depolanır. Hareket ve alışkanlıklarınız izlenir. Tüm bunların sonucunda ziyaretçi ilgisinin artması için çalışmalar yapılır ve dijital pazarlama araçlarına ihtiyaç duyulur.
Veri Madenciliğinde Nasıl Bir Süreç İzlenmektedir?
Verileri sağlıklı bir şekilde depolamak ve ihtiyacınız olan veriye başarılı bir şekilde ulaşabilmek için belirli aşamaları takip etmelisiniz.
Veri Seçimi: Bu aşamayı filtreleme olarak da adlandırabiliriz. En fazla zaman alan kısımlardan biridir. Burada bilgi iyi analiz edilmeli ve problemlerle ilişkilendirilmelidir. Analizi yapacak olan kişinin veri kalitesini ölçmesi açısından önem taşımaktadır. Veri seçimi aşamasını filtrelendirme olarak da adlandırabiliriz.
Ön İşleme ve Temizleme: Bu aşamada veri kullanışlı hale getirilmeye çalışılır, veri madenciliğinin başarısı için ehemmiyetlidir. Temizlenmesi gereken veri temizlenmeli ve eksik kalan veri yerine yenisi eklenmelidir. Buradaki başarı, sonuçtaki başarıyı etkiler ve kesin, net sonuçlara ulaşırsınız.
İndirgeme: Veriler ön işlemeden geçmiş olsa bile kullanılabilecek durumda değildir, kullanılması için indirgenmesi gerekir. Ancak bu şekilde faydalı ve doğru sonuçlara ulaşılabilir. Sonuca etkisi önemsenmeyecek kadar az olan veri ve değişkenlerin sayısının azaltılmasıdır.
Veriyi Dönüştürme: Bazı durumlarda veriyi aynen çözümlemelere katamayız. Değişkenlerin sahip olduğu çok büyük ve çok küçük değişkenler çözümlemelerin sağlıklı bir şekilde yapılmasını engeller. Bu nedenle değişkenler normalleştirilmeli ve standartlaştırılmalıdır.
Veri Madenciliği: Çalışmanın tam olarak kullanıldığı yerdir. Veri bu aşamaya geldiğinde kullanılabilir haldedir. Amaca göre veri madenciliği yöntemleri kullanılır. Kümeleme, sınıflandırma ve karar destek ağaçlarından uygun olanlar uygulanır. Gerektiğinde farklı yöntemler birleştirilerek uygulanabilir. Sonuçların ilgili yazılım dillerinde eğitim ve test aşamasına sokulması (R, Python, Java)
Yorumlama ve Doğrulama: Veri madenciliği ile sonuçlar alındıktan sonra yorumlanır ve doğru sonuca ulaşıp ulaşmadığı araştırılır. Farklı uygulamaların karşılaştırılması yapılır ve elde edilen tüm sonuçlar mukayese edilir ve istenilen bilgiye ulaşılır.
Veri Madenciliği sisteminin temel bileşenleri:
Veri tabanı, veri ambarı ve farklı depolama seçenekleri,
Veri ambarı sunucusu,
Bilgi tabanı,
Data mining motoru,
Örüntü değerlendirme,
Kullanıcı Arayüzü
Veri Madenciliği Neden Önemlidir?
Değişen çevre koşulları, teknolojinin ilerlemesi ve sınırların ortadan kalkması ile globalleşen dünya, pazarlama ve araştırma geliştirme yöntemleri verinin değil, bilginin önemli olduğunu ortaya koymuştur. Veri madenciliği, verilerin içerisindeki desenlerin, ilişkilerin, değişimlerin, düzensizliklerin, kuralların ve istatistiksel olarak önemli yapıların keşfedilmesidir. Bilginin çeşitli yöntemler ile analiz edilmesi ve sonuçların profesyoneller tarafından yorumlanması ve geçmiş veriler ile gelecek tahminlerinin yapılmasına data mining denir ve veri madenciliğini ortaya çıkaran ve zorunlu hale getiren unsurlar bulunmaktadır.
Veri kayıtlarının hızla artması, internet ve veri ambarlarında çok fazla verinin depolanması,
Veri sınıflandırılması ve gruplandırılması,
Kesin bilginin azalması, hipotezler oluşturma ve karar alma gerekliliğinin doğması,
Otomatik veri toplama istasyonlarının geliştirilmesi,
Bilimsel hesaplamalar, benzetimler ve modellemelerin gelişmesi,
Uydu ve uzaktan algılama sistemlerinin geliştirilmesi,
Geleneksel eski tekniklerin ham verileri işlemede yetersiz kalması.
Veri Madenciliği İçin Hangi Yetkinliklere Sahip Olunmalı?
binlerce hatta milyonlarca veri üzerinde araştırma yapmak çok ciddi bir emek, sabır ve dayanıklılık gerektirmektedir. Bilgisayar sistemlerinde sıklıkla karşılaşılan sorunlarda ve ani değişmelerde verileri dikkatli bir şekilde koruyabilmeli. Tabii ki gelişmiş seviye de yazılım bilgisi, yöneylem, ileri seviye matematik, istatistik, lineer cebir ve optimizasyon bilgisi gerekmektedir.
Yazılım dillerinden Python programlama ve R dilleri veri madenciliği için en uygun olanlardır. Hatta veriyi nasıl elde edeceğini biliyor olması en temel özelliği olmalıdır. Aynı zamanda deneme ve testler için Java dilini de bilmelidir. Uğraşları sonucu, verilerden elde ettiği bilgiyi kullanma ve anlatma becerisine sahip olmalıdır.
Veri Madenciliğini Hangi Alanlarda Uygulayabiliriz?
Veri işlenmediği sürece değersizdir. Yığın halinde yer alan veriler işlenerek, değerli hale gelir ve bilgiye dönüşür. Niteliklerine göre tanımlanmış sınıflara ayrılır. Firmalar karar alırken bu verileri kullanır ve gelecek yatırımlarına karar verirler. Uygulama alanları her sektörde oldukça geniştir, önemli olan hangi verilere doğru olarak ulaşmak istediğinizdir.
Müşterilerin daha iyi tanınması,
Müşteri sınıflandırılması yapılmasına fırsat tanınması,
Müşteriler için davranış modelleri oluşturulması için yardımcı olunması,
Müşterilerin ödeme performanslarının ölçülmesi ve elde edilen bilgilere göre risk yönetim politikalarının oluşturulması,
İyi müşteri sınıflandırmasının yapılması ve hem bu müşteriler hem de diğer müşteriler için farklı pazarlama stratejileri oluşturulması,
Müşterilerin davranışlarına göre kampanya hazırlanması ve kampanyalara göre müşteri kitlesi belirlenmesi,
Elde edilen sonuçlara göre çapraz ve dikey satış artırma stratejilerinin oluşturulması,
Kara para trafiğinin belirlenmesi,
İnternet işlemleri, e-nakit dolandırıcılığı
Bilgisayar sistemleri ve bilgisayar ağlarına girilmesi,
Kredi taleplerinin değerlendirilmesinin kolaylaştırılması,
Kredi kartı dolandırıcılıklarının tespit edilmesi,
Müşterilere kişiselleşmiş ürün ve hizmet sunulması,
Tıp alanında, hastalara tanı konulmasına destek olunması ve hastaya özel tedavi yöntemi belirlenmesi
Spor alanında, rakip taktiklerinin belirlenmesine yardımcı olunması gibi sayabiliriz.
Örnek üzerinden ilerleyecek olursak, aynı süpermarketten alışveriş yapan müşteriler için özel olarak kart çıkartarak aslında müşterilerinin bilgilerini saklarlar. Alışveriş eğilimleri, en çok haftanın hangi günleri alışveriş yaptıkları ya da en çok promosyonu kullandıkları bilgilerini kayıt ederler. İlk bakışta çok anlamsız gibi görünse de elde ettikleri bilgiler ile, o müşteriye özel promosyon oluşturarak daha fazla satış gerçekleştirirler.
