İş zekası dünyasının yenilikçi firması QlikTech‘in Türkiye distribütörü BI Technology, 26 Ekim 2011 tarihinde İstanbul Swissotel’de düzenlecek ”Business Discovery” etkinliği ile Türkiye’nin önde gelen kurumlarındaki QlikView kullanıcılarını 3. kez ağırlıyor olacak.

Oracle Database 11g düşük maliyet ve ölçeklendirilebilir gridler üzerinde hızlı, güvenilir ve güvenli raporlama, çözümleme ve veri inceleme sunar. Oracle hem pazar payı, hem de ürün yeniliği açısından veri depolama pazarına önderlik etmeye devam ediyor.

• Veri ambarlarında olağanüstü düzeyde performans ve ölçeklendirebilirlik elde edin
• Nitelikli verilerin entegrasyonunu ve yüklenmesini Oracle Data Integrator Enterprise Edition ile yönetin
• Büyük tabloları bölümleyerek veri ambarının performansını, kullanılabilirliği ve yönetilebilirliğini geliştirin
• Oracle Data Mining ile veri ambarınızdaki gizli kalıp ve bilgileri bulun
• Küp düzenindeki materyalleştirilmiş görünümlerle daha hızlı analizler gerçekleştirin

Oracle Data Integrator, yeni jenerasyon ETL(Extract, Transform, Load) teknolojileri ile performansı artırır, veri entegrasyonu maliyetlerini düşürür, farklı veri kaynaklarına erişir. Hem Batch hemde Real-Time entegrasyona imkan verir.

Oracle hakkında daha detaylı bilgi için Oracle web sitesini ziyaret edebilirsiniz.

Oracle İş Zekası platformu kurumların iş zekası ihtiyaçlarına uçtan uca ve açık kaynaklı çözümler sunar. Tüm kurumun raporlama, ad-hoc sorgu, analiz, OLAP, dashboard, srocecard ihtiyaçlarına cevap vererek kurumsal raporlama platformu olarak düşünülebilir. Tüm kurumsal veri kaynakları, metrikler, hesaplamalar, tanımlamalar ve hiyerarşiler ortak kurumsal bilgi modeli(EIM) üzerinden yönetilerek son kullanıcılara sunulur.  Oracle İş Zekası;

• En zengin son kullanıcı arayüzü,
• Entegre OLAP analizi,
• Entegre Scorecard,
• Insight to Action,
• Tek kaynaktan tüm veri kaynaklarına erişim imkanı sunar.

Oracle; Kurumsal Performans Yönetimi’nde (Enterprise Performance Management – EPM) liderdir, Performans Yönetimi ve İş Zekası’nı (Business Intelligence – BI) birleştirir, stratejik, finansal ve operasyonel yönetim süreçlerinin geniş bir serisini destekler. Oracle, işletme genelinde performansı yönetme ve en iyi hale getirme konusunda eksiksiz ve entegre bir sistem sunar. Bu da organizasyonların zeki, çevik ve düzenli hale gelmek suretiyle bir yönetim mükemmelliği kazanmasını sağlar, böylece rekabet avantajı sağlar ve operasyonel yatırımlarını desteklemiş olurlar.

• Akıllı—Çevikliği geliştiren ve iyelik maliyetlerini düşüren ileri düzey entegrasyona olanak tanıyın
• Çevik—Finansal performans yönetiminiz, operasyonel zekanız ve işlem uygulamalarınızdan elde ettiğiniz bilgileri entegre hale getirin
• Düzenli—Stratejik, finansal ve operasyonel yönetim süreçlerini birbirine bağlantılı hale getirerek işletme genelinde nüfuz eden bir yönetim zekası uygulayın

Oracle hakkında daha detaylı bilgi için Oracle web sitesini ziyaret edebilirsiniz.

Qlikview, son kullanıcıların yönetim kokpitleri ve dashboard ortamlarında kurumsal performansı izleyebilecekleri, anlık sorgulama, raporlama ve OLAP analizi yapabilecekleri entegre bir iş zekası platform sunmaktadır. Bu platform sayesinde son kullanıcılar QlikView ortamına alınan tüm veriye anlık olarak ulaşabilmekte, ürünün sunmuş olduğu patentli in-memory ve associative veritabanı özellikleriyle sadece point & qlik yaklaşımıyla analizlerini gerçekleştirebilmektedir. Ürünün benzerleriyle karşılaştırılamayacak kadar son derece kolay kullanıcı arayüzü sayesinde, son kullanıcılar herhangi bir eğitime bile gerek kalmadan bilgiye erişebilmekte ve analizlerini gerçekleştirebilmektedir.

QlikView iş zekası platformu, son kullanıcıların, veri kaynaklarının nerede olduğu, tablolar arasındaki ilişkiler ve alan isimlerinin ne olduğu gibi teknik bir bilgiye sahip olmadan sorgulama, raporlama ve analiz ihtiyaçlarını yönetim kokpitleri tarzındaki ekranlar ve uygulamalar içinde karşılamalarını sağlayan bir iş zekası platformu sunmaktadır. Son kullanıcılar bu platforma desktop üzerine kurulan QlikView uygulamalarıyla istemci-sunucu ya da 3 katmanlı (3-tier) mimaride sisteme erişebilecekleri gibi Internet Explorer gibi bir web tarayıcı sayesinde Ajaxview ya da Internet Explorer Plug-in üzerinden ya da iPhone, Blackberry ve Android işletim sistemini destekleyen mobil cihazlardan erişerek performans takibi ve analiz yapabilmektedir.

QlikView iş zekası platformu teknoloji seviyesinde bir çok geleneksel iş zekası platformuyla karşılaştırıldığında daha farklı ve günümüz koşullarına çok daha fazla uyan bir takım bileşenler sunmaktadır. Bu bileşenlerin tümü tek bir modül içinde bulunmakta olup tüm ETL, Dashboard/Yönetim kokpitleri, sorgulama, raporlama, OLAP analizleri gibi ihtiyaçlar aynı önyüz üzerinden uygulama geliştiriciler ve son kullanıcılara sunulabilmektedir. Bu sayede hem son kullanıcılar farklı ihtiyaçlar için sadece tek bir önyüzü öğrenmek zorunda kalmakta hem de uygulama geliştiren bilgi işlem departmanları sadece tek bir uygulama geliştirme ortamıyla karşılaşmaktadır. Bu durum hem uygulama geliştirme, hem öğrenme süreçlerini geleneksel iş zekası platformlarıyla karşılaştırıldığında kat kat daha hızlı hale getirmekte hem de implementasyonlarda karşılaşılabilecek modüller arası entegrasyon ihtiyaçlarını ortadan kaldırmaktadır.

QlikView iş zekası platformunda karşımıza çıkan ana bileşenlerden ilki veri entegrasyonu(ETL Engine) olup, farklı veri kaynaklarında bulunan verilerin OLEDB ya da ODBC üzerinden çekilerek, bir takım transformasyonlara tabi tutulması ve konsolide edilmesi için kullanılmaktadır. Veriler bir yandan ETL motoru sayesinde QlikView ortamına çekilirken, QlikView bir yandan bu veri kümesi üzerinde yüksek oranda bir sıkıştrma algoritması uygulamaktadır.

QlikView ortamına alınan veriler sıkıştırıldıktan sonra QlikView’in patentli bir teknolojisi olan Association Motoru sayesinde özel bir yapıya dönüştürülmektedir. Association Database ya da Associative Analysis sayesinde, hem implementasyon süreci çok hızlı hale gelmekte, hem de son kullanıcılar sürükle-bırak yöntemler yerine sadece işaretle ve tıkla (point&qlik) yaklaşımıyla sorgulama, raporlama ve analiz yapabilecek bir yeteneğe kavuşmaktadır.

Association Motoruyla özel bir hale getirilen veri kümeleri üzerinde sonraki aşamalarda QlikView’in Görselleme motoru sayesinde, çok kullanışlı, görsel, etkileşimli ve proaktif analize imkan veren ekranlar tasarlamak mümkün olmaktadır. Bu ekranlar(dökümanlar) daha sonra yine QlikView’in patentli bir teknoljisi olan bir Bellek-İçi Veritabanı (In-Memory Database) ortamına alımakta ve bu sayede son kullanıcıların yüz milyonlarca satırdan oluşan veri kümeleri bazında bile saniyeler seviyesinde analiz yapabilmeleri mümkün olmaktadır.

High performance data replication with quick time-to-value, for heterogeneous enterprise data sources

Attunity Replicate is high-performance data replication software that enables organizations to accelerate and reduce the costs of distributing, sharing and ensuring the availability of data for meeting business operations and business intelligence needs.

Using Attunity Replicate, organizations can:

• Load data efficiently and quickly to operational data stores/warehouses
• Create copies of production databases to enable operational reporting
• Offload queries from operational systems to reduce load and impact
• Facilitate zero-downtime migrations and upgrades
• Distribute data across data sources/centers

Attunity Replicate’s architecture facilitates data replication from many enterprises databases including Oracle, SQL Server and DB2, and is designed to deliver quick time-to-value with its:

• Click-2-Replicate design: simplifying user experience by automating the steps required to build a replication solution with packaged software that is fast to learn and implement.
• Zero-footprint technology: reducing impact on IT operations with log-based capture and delivery of transaction data that does not require the Attunity software to be installed on each source and target database.

Attunity Replication Console:

KEY CAPABILITIES:

• Heterogeneous and Homogeneous data replication
• High speed replication of full database tables
• Low latency, transactional replication of database changes
• Low impact log-based change data capture (CDC)
• Generation of files for loading data warehouses such as Teradata and EMC Greenplum
• Schema and DDL replication
• Tables and column selection
• Content-based (row-level) filtering
• Mapping & transformations
• Reliable delivery & recovery
• Web-based configuration with click-2-replicate design
• Web-based monitoring with dashboard, metrics & alerts

KEY BENEFITS:

• Deliver timely information for BI and decision support
• Enable operational reporting without impacting production databases
• Replicate data without the need to install software on source and target databases
• Cost savings and lower cost of ownership
• Faster return on investment with quick time-to-value

Günümüzde yapısal olmayan veri kaynaklarında saklanan veri kümesi, ilişkisel veritabanları gibi ortamlarda saklanan yapısal veri kaynaklarıyla karşılaştırıldığında devasa boyutlarda… Bu veri kümesi internet, word, email, PDF, Powerpoint gibi ortamlarda saklanıyor ve bugünkü iş zekası platformlarının hemen hiç biri bu veri kaynaklarının sorgulanıp raporlanması ve analiz edilmesi konusunda direk bir çözüm sunmuyor. Özellikle son bir kaç yıl içinde yapısal olmayan veri kaynaklarının sorgulanarak analiz edilebilmesi için bir çok yeni firma kuruldu. Bunlardan bazılarının satın alınmasıyla sorgulama, raporlama ve analiz çözümleri sunan iş zekası yazılım üreticileri, gerekli entegrasyonu kurarak yapısal olmayan veri kaynaklarına erişim teknolojileriyle entegrasyon kurmaya da çalışıyor. Bununla birlikte öncelikler ve bilgi birikimlerinin satın alma operasyonları sonunda korunamaması nedeniyle, entegrasyon konusundaki ilerlemeler hala çok yavaş olup, başarılı implementasyonlar yine tek işi yapısal olmayan veri kaynakları konusunda analiz ortamları sunan üçüncü parti yazılım firmaları tarafında gerçekleşmekte…

Dünya üzerindeki örnekler incelendiğinde yapısal olmayan veri kaynaklarının en önemli kullanıcıları, facebook, twitter gibi ortamlarda kendileri ve ürünleri hakındaki son kullanıcı yorumlarını almaya çalışan satış-pazarlama departmanları, rekabet bilgisi edinmek isteyen iş birimleri ve özellikle güvenlik, terörist aktivitelerin takip edilmesiyle ilgili kamu kuruluşları ya da şirketlerin içinde bulunan gizli bilgilerin dışarıya sızmasına engel olmak isteyen güvenlik birimleri geliyor. .

Bu tür uygulamalardaki en önemli konulardan birisi, bir sözlük oluşturarak bu sözlük içinde geçen kelimelerin gruplanması ve ilgili kelimeleri içinde bulunduran yapısal olmayan veri kümelerine erişerek gerekli analizlerin yapılabilmesi. Bu sırada tamamen kuruma ve işin niteliğine dair özel kelimeler kullanılabileceği gibi genel olarak kullanılan konuşma/yazı dili içindeki kuralların da yazılım tarafından desteklenmesi gerekmektedir. Örneğin bir çağrı merkezini arayan ve bir ürünle ilgili şikayetlerini dile getiren bir müşterinin söylediklerini not alan müşteri temsilcisi, aldığı notlar içinde ürünü kullanan müşterinin yorumlarını farklı şekilde kaydediyor olabilir. Müşteri “ürününüzden menun olduğumu söyleyebilirim” gibi bir ifade kullanabileceğ gibi “ürününüzden memun olmadığımı söyleyemem” gibi bir ifade de kullanabilir. Bu noktada ikinci cümlede de ürünle ilgili negatif bir anlamın çıkıyor olması tartışma konusu ancak en önemli konu, kullanılan dilin kurallarına ait desteğin yazılım tarafından sağlanıp sağlanmıyor olması…Bu da NLP (Natural Language Processing) başlığı altında değerlendirilen bir desteğin yazılımlarda bulunmasını kaçınılmaz yapmaktadır.

Böyle bir soru, çok özetlenmiş ve veri hacmi çok yüksek olmayan, veri entegrasyonu ihtiyacı duyulmayan veri kaynakları için Dashboard’ların direk olarak operasyonel sisteme karşı oluşturulması senaryosunda kolay bir şekilde çözüm bulabilir. Ancak tipik bir dashboard uygulamasında verilerin işlenmesi ve bir çok kaynak kullanılarak entegre edilmesi senaryosu çok sık karşılaştığımız bir durum Böyle bir senaryoda verilerin staging area olarak nitelendirilebilecek bir alana alınması ve/veya sadece dashboard’lara özel bir datamart yapısının kurulması kaçınılmaz olmaktadır. Bu nedenle bu tür sorulara doğru yanıtları verebilmek için kavramların üzerinden geçmekte fayda var.

Aşağıdaki şekil, bir Real-Time dashboard uygulamasında karşımıza çıkabilecek ana bileşenleri göstermekte:

Real-Time Dashboard uygulamaları geliştirebilmek için karşımıza çıkacak ilk konu, operasyonel sistemdeki değişikliklerin yakalanabilmesi ki bu konu Changed Data Capture(CDC) olarak adlandırılmakta. CDC verilerinin yakalanabilmesi çoğu kez ön yüzde kullanılan iş zekası yazılım araçlarının işi değildir aslında. CDC verilerinin yakalanabilmesi için dünya üzerinde bu konuya odaklanmış ve bu konuda uzmanlaşmış firmalar ve çözümler bulunmaktadır. Attunity firmasının çözümlerinde olduğu gibi bu ürünler veri kaynaklarının bulunduğu donanım üzerine kurularak veritabanlarında yapılan ekleme, silme, değiştirme gibi işlemlerin tümünü performanslı bir biçimde alternatif yöntemlerle (örneğin veritabanı log’ları) okuyarak bunu iş zekası yazılım araçlarına ya da veri entegrasyonu sağlayan ETL araçlarına sunabilmektedir. Bununla birlikte Attunity gibi bir ürün kullanılmasa bile operasyonel sistemdeki değişiklikerin yakalanabilmesi için veri hacimlerine bağlı olarak değişik yaklaşımlar uygulanabilir. Örneğin operasyonel sistemlerdeki tablolarda kayıtların üzerinde bir TimeStamp varsa o takdirde belli bir tarihten sonra değiştirilmiş, eklenmiş ya da silinmiş tüm kayıtları bulmak mümkün olabilir. Bu tür kayıtlara veritabanı üzerinde yazılacak bir takım trigger’larla ulaşarak CDC verilerini ayrı bir tablo içinde biriktirmek de mümkün. Hatta, eğer operasyonel sistemdeki tüm programlar kontrol edilebilecek düzeydeyse, bu operasyonel programlar güncellenerek, veritabanı üzerinde ekleme, silme, değiştirme gibi işlemler yapılırken aynı zamanda ayrı bir tabloya yapılan işlemler kaydedilebilir.

Bununla birlikte her yaklaşımın avantajları olduğu gibi bir takım dezavantajları söz konusu. Örneğin veri hacmi ve işlem sayısı çok fazlaysa o zaman veritabanı üzerine yazılacak trigger’ların sisteme getireceği yük çok fazla olacaktır. Benzer şekilde büyük kurumlar gözönüne alındığında çok fazla program olduğu için programların güncellenerek verilerin başka bir tabloya yazılması için gerekli implementasyon ve bakım maliyeti çok yüksek olacaktır. Yine büyük kurumlarda yıllardır çalışan bir takım uygulamalar bulunmakta olup zamanında öngörülemediği için bu tablolarda bir TimeStamp bulunmamakta. Attunity gibi bir ürünün kullanılması durumunda ise ekstra lisans maliyetleri gündeme gelmektedir.

Avantaj ve dezavantajlar ne olursa olsun, yukarıda belirttiğim gibi Real-Time Dashboard için gerekli konulardan ilki değişen kayıtların yakalanabilmesi için gerekli politikanın netleşmesi ve buna paralel bir implementasyonun gerçekleşmesi.

İkinci aşamada ise bu CDC verilerinin ne yapılacağıdır. Değişen kayıtlar elde edildikten sonra iş zekası araçlarına anında bu verilerin aktarılabilmesi için iş zekası aracında (ya da bir ETL engine’inde) bir prosesin yeni bir CDC veri kümesinin olup olmadığını dinlemesi gerekmektedir. Bir listener olarak nitelendirilebilecek bu proses, yeni oluşan CDC veri kümesini aldıktan hemen sonra bunu işleme sokabilecektir.

Ancak az önce söylediğim gibi dashboard uygulamalarında çoğu kez verilerin işlenmesi ve transformasyonu gerekmekte… Bu nedenle CDC kayıtlarının direk ön yüz uygulamaları içine alınması çoğu kez bir anlam ifade etmeyecektir. Onun yerine bu kayıtların sadece dashboard için oluşturulmuş datamart tarzında bir yapıya eklenmesi, ya da başka bir söylemle, varolan datamart yapısı üzerinde Incremental Load sürecine dahil edilmesi gerekecektir. Bu durumda da seçilen teknolojilerin alternatif yöntemlerle elde edilmiş bu CDC veri kümesini, hedef veri kaynağı üzerinde Incremental Load yaklaşımıyla işleyebilecek bir mekanizmaya sahip olması gerekmektedir. Bu yaklaşım sonucunda en güncel veriler Dashboard Datamart üzerinde biriktirilmiş olacaktır.

Son aşamada ise son kullanıcı arayüzündeki dashboard uygulamalarının bu değişikliklerden haberdar olması için trigger benzeri bir mekanizmaya ihtiyaç bulunmaktadır. Bu da sağlanırsa son kullanıcılar ekranda herhangi bir tuşa dokunmasa bile dashboard’larının ekran üzerinde kendiliğinden güncellenmesini sağlayabilir.

Tüm bunlara rağmen özellikle yüksek sayıda işlemin gerçekleştiği kurumlarda tüm bu işlemleri push tekniğiyle gerçekleştirmektense Near-Real-Time olarak adlandırılabilecek bir şekilde dashboard’ların belli aralıklarla güncellenmesini sağlayan bir altyapının kurulması çoğu senaryoda daha verimli olacaktır. Aksi takdirde tüm bu süreçler özellikle network altyapıları gözönüne alındığında operasyonel sistemlerin performansını olumsuz derecede etkileyecek sonuçlara neden olabilir…