Yang Sering Berkunjung

Cari Blog Ini

Entri Populer

Senin, 02 Mei 2016

Perbandingan Twitter River VS Logstash pada Elasticsearch

Analisis media sosial Twitter dapat menunjukkan rating seseorang, layanan, atau suatu produk di mata pengguna Twitter. Sebagai salah satu media sosial dengan pengguna terbanyak di dunia, Twitter menyediakan API yang memudahkan pengambilan data Twitter secara real time. Analisis ini menjadi penting karena dapat dimanfaatkan sebagai dasar penarikan keputusan. Elasticsearch adalah tools yang mampu melakukan analisis big data; termasuk data Twitter yang realtime. Dari sekian banyak tools input yang dimilikinya, Elasticsearch memiliki dua tools yang dapat menginputkan data Twitter dari Twitter API ke Elasticsearch. Cara pertama adalah melalui Twiter River dan cara kedua adalah melalui Logstash. Faktor input adalah faktor yang sangat mempengaruhi output. Keakuratan data input serta efisiensi pengolahan serta penyimpanan data sangat penting dalam menunjang sebuah sistem yang menangani big data. Dalam rangka mengoptimalkan kinerja sistem analisis media sosial Twitter dengan Elasticsearch dan Kibana, diperlukan sebuah penelitian yang membandingkan kedua tools input tersebut.

Penelitian dilakukan dengan memonitor dua buah server HPC yang melakukan crawling data dari Twitter API secara bersamaan. Server HPC pertama adalah server Elasticsearch yang menggunakan input Logstash, sedangkan server HPC kedua menggunakan input Twitter River. Parameter pembanding yang digunakan adalah beban pemrosesan CPU, penggunaan RAM, penggunaan disk, jumlah data Twitter (twit) yang diinputkan, serta jumlah field yang diinputkan pada Elasticsearch.
 
Hasil penelitian menunjukkan bahwa Logstash menggunakan lebih banyak sumber daya dibandingkan Twitter River termasuk 0,99% beban pemrosesan CPU dan 7,2% penggunaaan RAM per hari, 112 MB penggunaan disk per minggu, dan 497 field lebih banyak per twit. Sebaliknya, Twitter River menginputkan 191 twit lebih banyak dibandingkan Logstash dalam satu minggu.

Tidak ada komentar:

Posting Komentar