Computer Science are Beautiful

Mengenal Data Warehouse

Kemampuan untuk menghasilkan dan mengumpulkan data secara elektronik pada masa sekarang ini meningkat sangat cepat dengan dukungan berbagai teknologi seperti bar code, komputerisasi berbagai proses bisnis dan kemajuan dalam alat-alat pengumpul data yang melenyapkan beban pemasukan data yang selama ini dirasakan dalam proses pengumpulan data. Penggunaan yang luas atas teknologi komputer dan jaringan telah membentuk database-database elektronik besar yang menyimpan berbagai transaksi bisnis. Bagi sebuah organisasi hal ini sangat menguntungkan karena data yang diperlukan untuk mengambil keputusan sangat tergantung pada kelengkapan data yang dimiliki. Akan tetapi, di lain pihak besarnya jumlah data ditambah kemungkinan tersebarnya lokasi penyimpanannya, akan lebih mempersulit pengaksesan data tersebut pada saat diperlukan.

Para pengambil keputusan di sebuah organisasi pada suatu saat akan menyadari bahwa mereka memerlukan alat-alat yang lebih tangguh daripada alat yang umumnya digunakan dalam sistem transaksi online. Untuk memperoleh kecerdasan bisnis (business intelligence) dari sumber-sumber data korporasi bagi sistem pendukung keputusan yang digunakan, mereka harus menggunakan cara yang berbeda dalam memperlakukan data yang besar. Kecerdasan bisnis tersebut meliputi topik-topik seperti penggudangan data (data warehousing), online analytical processing (OLAP), penambangan data (data mining), dan multidimensionalitas.

Data warehousing dan data mining merupakan dasar-dasar arsitektural bagi sistem-sistem pendukung keputusan. Keduanya memiliki hubungan simbiotik dimana data warehouse menyiapkan tahapan untuk kegiatan data mining yang efektif. Teknologi data warehouse telah memungkinkan sebuah organisasi untuk mengelola dan menyimpan data bisnis dalam volume yang sangat besar dalam bentuk yang dapat dianalisa.

Kematangan dalam bidang kecerdasan buatan telah pula menciptakan sekumpulan teknik machine learning (mesin pembelajaran) yang berguna untuk mengotomatisasi kegiatan-kegiatan penting dan melelahkan guna mengungkapkan pola-pola dalam database. Faktor-faktor ini telah mengubah cara menganalisa data dan melahirkan data mining, yang mengintegrasikan machine learning, analisa statistik, dan teknik-teknik visualisasi, dengan intuisi dan pengetahuan para analis untuk menemukan pola-pola menarik dan bermakna dalam data.

Di dalam sebuah data warehouse, berbagai sumber data operasional yang berbeda-beda diintegrasikan ke dalam sebuah tempat penyimpanan data terpusat untuk dapat diakses oleh alat-alat analisis informasi seperti OLAP, visualisasi data, sistem informasi eksekutif/sistem pendukung keputusan, lembar kerja, data mining, dan bahasa-bahasa pengembangan lain. Secara umum alat-alat ini iklasifikasikan ke dalam tiga kelas besar, yaitu OLAP, data mining, dan alat-alat kueri. Sistem OLAP terutama digunakan untuk analisis yang menggunakan kemampuan komputasi terdistribusi dan mendukung satu kelas kueri khusus berupa pendekatan pertanyaan dan jawaban (query and answer) yang memerlukan persyaratan-persyaratan logika yang kompleks, fungsi-fungsi statistik, dan analisis time-series.

Manakala kegunaan data mining adalah untuk pengungkapan pengetahuan (knowledge discovery) dimana para penggunanya mencari pola-pola yang menarik dalam sekumpulan besar data dan mencoba memformulasikan sebuah kueri yang dapat menangkap esensi dari pola-pola yang menarik tersebut. Sistem pendukung keputusan menyokong para pengambil keputusan suatu organisasi dengan menyediakan data tingkat-tinggi untuk keputusan-keputusan yang kompleks dan penting.

Pengertian:

Definisi data warehouse yang paling sering digunakan diberikan oleh W. H. Inmon pada tahun 1992, yaitu kumpulan data yang berorientasi-subjek, terintegrasi, nonvolatile, dan varian-waktu untuk mendukung keputusan manajerial. Sifat berorientasi subjek sebuah data warehouse menunjukkan bahwa pengorganisasian data bergantung kepada proses bisnis tertentu dan akan berbeda antara satu sistem dengan sistem yang lain. Sifat terintegrasinya menunjukkan bahwa data warehouse merupakan sebuah tempat pengintegrasian data dari berbagai proses bisnis sedemikian hingga data yang sama memiliki jenis data yang sama dan setiap atribut data memiliki himpunan nilai yang sama pula. Karena data warehouse dibangun untuk tujuan-tujuan analisis misalnya seperti analisis tren data dan keputusan strategis jangka panjang, maka data disimpan dalam periode waktu yang panjang. Sifat varian waktunya menghendaki bahwa data warehouse memiliki sebuah dimensi temporal untuk merekam dimensi waktu ketika transaksi berlangsung. Selanjutnya, sifat manajerial data warehouse menunjukkan bahwa data warehouse dirancang dengan tujuan analisis data dan pengambilan keputusan manajerial.

Target dibangunnya sistem data warehouse adalah untuk mengubah volume penyimpanan data yang sangat besar, yang telah terkumpul sepanjang sejarah suatu organisasi, menjadi informasi pengambilan keputusan strategis dan memberikan penyelesaian kepada pengguna.

Dalam hal ini data warehouse berperan untuk memberi para manajer organisasi suatu kemampuan untuk melakukan kueri secara efisien terhadap database yang sangat besar agar dapat emperoleh ringkasan informasi secara cepat, serta menyusun data kedalam berbagai perspektif yang berbeda-beda dan independen.

Data yang dipelihara dalam berbagai database operasional secara kontinu bertambah sepanjang pengoperasian organisasi dari hari ke hari. Pihak manajemen eksekutif, data analis, dan pengguna-akhir sebagai pekerja pengetahuan (knowledge worker) suatu organisasi lambat laun menyadari bahwa mereka memerlukan sebuah alat yang tepat untuk mengendalikan dan mengakses data tersebut agar dapat memperoleh informasi yang berguna. Alat yang biasanya digunakan untuk memanipulasi data historical yang dipelihara di dalam sebuah data warehouse ternyata tidak lagi memadai untuk mendukung operasi-operasi yang lebih kompleks misalnya seperti perencanaan dan peramalan. Dalam lingkungan bisnis sekarang ini, menganalisis tren data dan korelasinya dari berbagai aspek bisnis yang berbeda untuk tujuan perencanaan dan peramalan merupakan keperluan kueri bisnis yang paling berharga.

Alat yang biasa digunakan untuk memanipulasi data operasional yang dikenal dengan nama online transaction processing (OLTP) dirancang untuk mengotomasi tugas-tugas pemrosesan yang terstruktur dan berulang-ulang. Secara tipikal, transaksi OLTP adalah pendek, atomik, dan terisolasi; memerlukan data yang terperinci dan uptodate; dan membaca atau meng-update beberapa rekod saja. Permintaan pengguna diproses secara reliabel dan efisien dari satu snapshot data operasional saat ini menggunakan program aplikasi khusus seperti tagihan, pengendalian inventori, penggajian, dan pendukung manufaktur dimana masing-masing aplikasi menyimpan data transaksi dalam sebuah database tersendiri. Keragaman format dan lokasi data operasional tersebut menyebabkan ketidakefisienan OLTP untuk mendukung aplikasi sistem pendukung keputusan.

Sebaliknya, data warehouse tidak hanya memelihara data operasional saat ini, tetapi juga menyimpan data historis yang telah diakumulasikan dalam periode waktu yang panjang dari berbagai sumber informasi, menjadikan jumlah data yang tersimpan itu besarnya jauh melampaui jumlah data yang tersimpan dalam database operasional, yakni hingga ke ukuran terabyte (2 12 byte). Namun demikian, pengintegrasian data ke dalam sebuah tempat penyimpanan sentral ini memungkinkan pihak eksekutif organisasi menganalisis secara komprehensif, mengeksplorasi, mengidentifikasi tren-tren yang berguna, dan membuat ringkasan data untuk aktifitas pengambilan keputusan tingkat tinggi.

ARSITEKTUR DATA WAREHOUSE

Umumnya sebuah sistem data warehouse terdiri dari tiga komponen utama, yaitu alat back-end, data warehouse, dan alat front-end.

Alat back-end adalah sekumpulan perangkat lunak akuisisi data dengan tiga tugas utama: meng-ekstrak data dari sumber-sumber eksternal, mengkonsolidasikan data ke dalam sebuah skema global, dan memuat data ke dalam data warehouse. Aktivitas-aktivitas ini umumnya dikenal sebagai proses ETL (Extract, Transform, and Load). Modul-modul yang bertanggung jawab untuk proses ekstraksi, konsolidasi dan pemuatan tersebut adalah wrapper/monitor dan integrator. Modul wrapper bertugas mengubah sumber-sumber informasi dari format asalnya menjadi format dan model data yang digunakan oleh sistem data warehouse. Ada beberapa proses yang dilakukan pada saat

berlangsungnya konversi, yaitu pemformatan ulang, pencucian, pengintegrasian, dan peringkasan sumber-sumber informasi. Peranan modul monitor adalah untuk mendeteksi secara otomatis setiap perubahan dalam sumber informasi dan melaporkannya kepada modul integrator, yang kemudian melakukan sederetan operasi seperti penyaringan, peringkasan, penggabungan, dan penginstalasian informasi ke dalam data warehouse.

Untuk memenuhi keperluan sekelompok pemakai tertentu atau untuk tugas pengambilan keputusan, sistem data warehouse mungkin juga menyediakan data marts dalam bentuk data terpakai untuk analisis pengguna akhir. Data mart merupakan sub-divisi dari data warehouse menurut tingkat departemental, regional, atau fungsional yang dapat menyokong jenis aplikasi analitik yang lebih spesifik secara efisien. Dari sudut pandangan bisnis, data mart adalah tingkat ritel dimana konsumer data (dalam hal ini pengguna akhir) memperoleh informasi spesifik dari data warehouse.