Gelecekte en önemli ihtiyaçlarımızdan birisi de daha iyi karar verebilme yeteneği olacak. Cihazların interneti, yapay zekalar derken başka bir dünya bizi bekliyor. Daha önce en sevdiğim karar mekanizmasından bahsetmiştim. Şimdi sıra konuyu biraz daha detaylandırmaya geldi.
Karar verebilmek için daha fazla veriye sahip olabilmek ve bu verileri iyice analiz edebilmek gerekli. Aslında her işin başı veri. Bu sebeple detaylı ve kapsamlı bir veri harmanlamasına girişmeden önce hızlıca veri çekip derleyebileceğim bir altyapı oluşturmaya çalıştım. Aslında web sitelerinden veri çeken, bu veriyi sizin kullanabileceğiniz hale getiren ve görselleştiren çeşitli uygulamalar var. Hızlı bir çalışma için şu anda üç farklı altyapıyı birbirine bağladım.
- import.io : Bu web sitesi sizin istediğiniz web sitesinden verileri derleyip düzenleyerek size güzel bir CSV (Virgülle ayrılmış değerler) dosyası sunuyor.
- Google Sheets : Google’ın bu web tabanlı excel hizmeti internet üzerinden veri çekip derleme yeteneğine sahip. Düzenli olarak sizden bağımsız kendini güncelleyen excel tabloları gibi.
- Tableau Public : Tableau bir data analiz firması. Bu konuda çok kapsamlı ücretli yazılımları var ama ücretsiz bir sürümleri de mevcut. Üstelik hem yazılımsal hem de web tabanlı.
Öncelikli olarak sahibinden.com üzerinden bir veri harmanlaması çalışması yapmak istedim. Sahibinden.com üzerindeki bir aracın “azalan verim” yöntemi ile ikinci elde hangi yılına ait olanını almanın daha mantıklı olacağını kestirmeye çalıştım.
Öncelikle import.io web sitesine gidip Skoda Superb ile ilgili ilanların listesinin olduğu sayfayı örümcek’e yükledim. İhtiyacım olan alanları belirledim. Örümcek’e 1.000 adet ilanı alıp birleştirmesini söyledim. Ortaya şöyle bir sonuç çıktı.
import.io’nun robot örümceği benim için periyodik olarak sahibinden.com’un web sayfalarında gezinip verileri anlaşılır hale getiriyordu. Sonra bu verileri bir CSV arabirimi ile Google Sheets’e aktardım.
Wow! Veri tam anlamıyla internet üzerinden otomatik harmanlanıyor ve excel’e düşüyordu. Oradan oraya kopyalama derdi kesinlikle yoktu. Sadece excel’de bu veri üzerinde neler yapabileceğinizi düşünün. Google sheets bu anlamda tam bir arabirim. Hem veriyi depolayan, hem veriyi işleyen hem de veriyi başka arabirimlere sunabilen efsane bir altyapı.
Peki burada sheets üzerinde çeşitli kodlarla uğraşmak istemeyenler varsa ? Mesela ben. Bu altyapıyı daha güzel işleyebileceğim bir yere taşımam gerekli. Nereye ? Tableau public.
Öncelikle şunu belirteyim; veriyi işlemeye harcanan zaman ile konuya hakimlik / kaliteli düşünme arasında negatif bir bağ var. Hiç sizin saatlerce çalıştığınız ve neredeyse mükemmel olduğuna inandığınız bir anda yöneticinizin gelip sizin hatanızı bulduğu oldu mu ? Bu “oldurmaya çalışmaktan” gelen bir kavram. İşi ortaya çıkartmaya çalıştıkça körlük yaşıyoruz ve ana noktaları kaçırıyoruz. İnsanın doğası bu ve aslında bu altyapı ile insan doğasına karşı da bir nebze savaşmış oluyoruz.
Konuyu çok dağıtmadan BI kısmına geleyim. Tableau Public bu ücretsiz sürümünde CSV dosyalarını ve Google Sheets’i kabul ediyor içerik olarak. Hatta öyleki; import.io otomatik olarak güncelliyor, oradan Google sheets otomatik güncelliyor ve en son Tableau’nun web tabanlı arabirimi güncelliyor ve siz sonunda sayfayı her güncellediğinizde son veriyi bulabiliyorsunuz. Tam benim gibi tembellere göre 🙂
Bu ekranda aracın ilgili modelinin yıllara göre değişen ilan adedini, minimum fiyatını, maksimum fiyatını, averaj fiyatını ve median fiyatını bulabilirsiniz. Araçların son yıllarında nispeten daha yüksek fiyata satılmaya çalışıldığını median/averaj değerlerinden, azalan verim eğrisinin kırılma noktasının ikinci yıl olduğunu görebilirsiniz. Burada gerçekleştirebileceğiniz görsel analizler sadece sizin hayal gücünüz ile sınırlı. Bu araçların bize sağladığı en başarılı özellik ise düşünce hızında çalışmak. Saatlerce veriyi komutlarla işlemek yerine basit sürükle bıraklar ile çok başarılı analizler yapabiliyorsunuz.
Bu aracın bir diğer güzel özelliği ise gerçekten “public” olması; yani umuma açık. Sizin yaptığınız çalışmaları kendi web arabirimine yüklüyor ve bu çalışmalar için bir web sayfayı yaratıyor. Daha sonra herhangi bir yazılıma dahi ihtiyacınız olmadan bu verilere erişebiliyorsunuz; görüntüleyip irdeleyebiliyorsunuz. Üstelik tüm bu veriler otomatik olarak güncelleniyor. Kendi denemem birkaç çalışmayı da vesile ile paylaşayım.
- Küçükyalı bölgesindeki emlak fiyat analizleri : Fiyatların zamana göre değişimi, birim metrekare fiyatları, daire tipine göre ortalama metrekareler, daire tipine göre fiyat analizi v.s.
- Skoda Superb analizi : Bu analizi zaten yukarıda gördük. Ama verleri de halka açık dolayısı ile isteyen üzerinde daha fazla geliştirme yapabilir.
Düşünce hızında çalışmak geleceğin gerekliliklerinden. Sağlıklı kararlar almak isteyen her birey bu süreçlerden ve yetkinliklerden faydalanmalı. Ben şahsen ileride yapay zekanın çok daha farklı işlevlerinin olacağını düşünüyorum. Mesela Google’ın TensorFlow yapay zekasını bu veriler üzerinde çalıştırıp bizim hiç aklımıza gelmeyecek trendleri yakalayabiliriz. İşte bu sebeplerde benim için önemli olan verileri derlediğim bir veritabanı inşa ediyorum. Basit bir ev/araç bilgisi deposu olduğu gibi iPhone cihazlarından sağlık verilerini, kombimden ve evdeki sıcaklık sensörlerinden sıcaklıkları aldığı gibi kurduğum GES’lerden (veya diğer IoT cihazlar) kritik bilgileri de üzerinde toplayacak. Tam anlamıyla bir veri deposu olacak ve ben ne yapmak istersem üzerinde çalışan yapay zekalar ve görselleştirme araçları daha iyi karar almama izin verecek.
Sizce de muhteşem değil mi ?
Bu süreci bir sonraki noktaya taşımaya ne dersiniz ? Ben otomatik olarak harmanlattığım verileri ileride kullanmak için kendime özel bir veritabanı oluşturdum bile. Ya siz ? Bulutta yaptıklarım da bir sonraki yazımda. O zamana kadar görüşürüz 🙂
Bir yanıt yazın