Aplikasi Smartphone Berbasis Web Crawler dan NoSQL: Contoh Sederhana Implementasi Pemberdayaan Big Data

Big Data hanya akan berupa kumpulan data mentah yang tak berarti apa-apa jika tidak diberdayakan. Namun demikian, pemberdayaan Big Data bukanlah perkara mudah, butuh investasi infrastruktur, sumber daya manusia, serentetan software, dan waktu yang tidak sedikit. Konsekuensinya, implementasi Big Data jadi terkesan jauh dari jangkauan individu maupun organisasi yang tak memiliki sumber daya berlimpah. Oleh karena itu, pada kesempatan ini, akan disajikan contoh sederhana pemberdayaan Big Data yang dapat diimplementasikan dengan kebutuhan sumber daya yang relatif kecil baik itu yang menyangkut infrastruktur maupun software.

Berbicara tentang penyediaan infrastruktur dan software, paling tidak ada 4 hal yg harus dipertimbangkan, yakni: data collection, data storage, data analysis, data visualization (output). Hasil (output) yang ingin dicapai adalah hal pertama yang mesti ditentukan karena ini lah yang menjadi tujuan dari pemberdayaan Big Data itu sendiri. Pada contoh kali ini, tujuan dari pemberdayaan Big Data adalah untuk mendapatkan informasi produk-produk yang sedang dijual dengan harga diskon/promo dari peritel-peritel nasional seperti Alfamart, Carrefour, Giant, Guardian, Hari Hari, Hypermart, Indomaret, Lottemart, Superindo, Tip Top, Watsons, dan Yogya. Informasi tersebut akan ditampilkan berdasarkan kategori produk, nama peritel, dan area berlakunya harga promo tersebut. Selain itu, juga dimuat masa berlaku dari tiap promo tersebut.

Setelah tujuan ditentukan, kita telah siap untuk membangun infrastruktur maupun software yang dibutuhkan dengan mempertimbangkan 4 hal tadi (Data Collection, Data Storage, Data Analytics, dan Data Visualization).

Data Collection

Data collection menyangkut data apa yg perlu dikumpulkan untuk mencapai tujuan pemberdayaan Big Data yang telah ditentukan. Pada contoh kali ini, sumber data yang digunakan adalah web pages. Oleh karena itu, kita akan membangun web crawler untuk mengumpulkan data-data produk promo dari peritel-peritel nasional yang telah disebutkan. Ada banyak crawler yang bisa digunakan untuk tujuan ini, seperti Apache Nutch, Scrapy dan sebagainya.

Data Storage

Data Storage berkaitan dengan penyimpanan data-data yang telah didapatkan pada Data Collection. Pada contoh ini, data hasil crawling akan disimpan dalam database NoSQL, seperti MongoDB, HBase dan sebagainya.

Data Analytics

Data Analytics adalah metode-metode yang akan ditempuh untuk memproses data-data yang telah disimpan pada Data Storage untuk mendapatkan suatu hasil/output yang diinginkan. Big Data analytics bisa menggunakan platform dari Cloudera, Hortonworks, IBM, AWS maupun dengan platform yang dikembangkan sendiri. Pada contoh sederhana kali ini, sebagai data analytics, hanya digunakan program sederhana yang dikembangkan sendiri untuk memproses data-data hasil crawling menjadi informasi yang diinginkan (sesuai tujuan pemberdayaan Big Data yang telah ditentukan sebelumnya).

Data Visualization

Data Visualization menyangkut bagaimana informasi hasil analytics akan dipresentasikan kepada pengguna hingga mudah dimengerti/dicerna. Pengguna dalam hal ini bisa customer, user, maupun decision maker. Big Data visualization bisa menggunakan tools seperti Google Chart, Tableu, atau bisa didesain sendiri sesuai kebutuhan. Pada contoh sederhana kali ini, informasi hasil analytics yang berupa produk-produk promo yang sudah dikelompokkan berdasarkan jenis produk, nama peritel yang menjual, dan area berlakunya promo, akan divisualkan dalam bentuk mobile application untuk platform iOS maupun Android. Dengan demikian informasi hasil analytics tersebut dapat menjangkau jutaan pengguna smartphone. Namun demikian, agar informasi yang ditampilkan dapat di-update setiap saat, maka diperlukan server database yang dapat diakses oleh aplikasi mobile yang diinstal di tiap smartphone pengguna. Dalam hal ini, kita dapat menggunakan cloud database seperti Google Firebase ataupun Microsoft Azure. Berikut adalah tampilan aplikasi mobile yang menyuguhkan informasi hasil analisa. Aplikasi ini diberi nama InfoPromo, dapat di-download langsung dari iPhone App Store maupun Android Play Store.

Demikian, sebuah contoh sederhana implementasi pemberdayaan Big Data dengan memanfaatkan data-data yang tersedia di Internet. Contoh ini diharapkan dapat memberikan gambaran nyata tentang bagaimana Big Data itu diberdayakan. Untuk contoh yang lebih kompleks, akan dibahas pada artikel-artikel berikutnya.

Bagikan Artikel ini