Category: Data

Memasang Squid Proxy di Ubuntu 12.04

Sejak jumat minggu lalu, saya dilanda penasaran dengan gagalnya squid3, yaitu web proxy yang tidak berjalan dengan semestinya di server yang baru saja saya install. Beberapa panduan sudah saya ikuti tetapi belum memberikan hasil yang memuaskan. Experimen ini saya lakukan untuk mencoba feature caching web oleh squid3 dan untuk mengatur dan memonitor informasi yang masuk ke dalam jaringan.

Saya coba membuat cache proxy di server tersendiri setelah sebelumnya saya coba web proxy internal yang merupakan fasilitas dari mikrotik. Di mikrotik sendiri awalnya tidak mau men-cache website yang sudah dibuka. Masalah yang saya hadapi terselesaikan setelah saya buat sendiri storage disk yang ada di system. Jadi storage disk yang digunakan tidak memakai storage disk default hasil dari enabling web-proxy mikrotik. Saya masih belum tahu penyebab pasti masalah tidak mau caching itu, tapi intinya setelah settingan storage disk nya dirubah jadi bisa nge-cache.

Yang jadi masalah berikutnya ketika bisa men-cache di internal system mikrotik adalah disk space system yang cepat penuh. Sudah spacenya kecil, cuma seratusan MB, ditambah caching yang cepat sekali bertambahnya, membuat saya beralih untuk membuat cache external.

Saya menggunakan konfigurasi yang dijelaskan dengan detail disni. Kira-kira konfigurasi seperti inilah yang saya pakai dan berhasil men-cache website yang telah dibuka. Dalam sehari ini kira-kira sudah ada 300M yang sudah berhasil di-cache.

Untuk kasus saya ini kebetulan topologinya kira-kira seperti ini:

Router——-Router——-Switch——client
|
Squid

Antara Astronomi Radio dan Big Data?

Pengamatan radio frekuensi rendah akan terus dilakukan di observatorium bosscha. Peralatan penerima radio terus diuji coba. Data pengamatan terus dikumpulkan. Data interferensi akan terus dicatat. Pesan-pesan dari matahari dan jupiter akan terus kita ‘dengarkan’.

Saya menyadari, data pengamatan model seperti ini akan terus bertambah dan berevolusi terus baik bentuk, maupun jumlahnya. Perlu dilakukan penanganan data yang baik dan sesuai agar data pengamatan yang telah dilakukan bisa diambil insight atau penemuan pengetahuan dari data yang telah terkumpul.

Karena data yan didapat dari sensor seperti ini atau dari peralatan yang ‘unik’, maka management datanya juga akan unik. Mungkin penanganan data menggunakan metode basis data relasional akan membutuhkan banyak ‘penyesuaian’. Sementara data akan terus berevolusi. Dari sini saya mulai ‘melihat’ big data. Suatu metode dan teknologi atau pendekatan baru dalam menangani data yang tidak terstrukture . Bisa juga untuk data yang terstrukture atau gabungan dari keduanya.

Terus tarang saya belum punya gambaran detail tentang apa dan bagaimana big data ini bisa berperan. Tapi saya melihat bahwa ‘big data’ adalah salah satu future approaches.

Continue reading “Antara Astronomi Radio dan Big Data?”

Mencoba Sphider PHP Search Engine

Kemarin saya menemukan search engine yang dibuat menggunakan bahasa php dan database MySQL. search engine ini digunakan untuk meng-index website yang kita definisikan dan dia akan meng-index halaman-halaman website yang telah kita definisikan sebelumnya. Halaman yang diindex berdasarkan link dan title yang ada dari halaman-halaman tersebut.

Indexing-nya ditrigger dengan cara manual oleh admin, jadi admin harus melakukan indexing secara periodik agar informasi up to date. Jika kita memiliki akses terhadap cron job, mungkin bisa dilakukan indexing secara otomatis dengan periode tertentu juga.

Sistem juga memiliki record tentang keyword yang pernah dicari oleh pengunjung. Dengan record ini kita juga bisa memantau kata kunci apa yang paling sering dicari. Dengan begitu kita bisa mendapat masukan untuk kebijakan pengembangan yang akan datang.

Setelah mencobanya, saya cukup terkesan dengan aplikasi ini. search engine ini memiliki feel dan tampilan mirip google tapi dengan view dan sistem yang lebih sederhana atau mirip google zaman dulu. Orang bisa mengetikkan kata kunci pada search box dan sistem bisa memberikan sugesti kata yang sering dicari atau yang ada dalam index sistem.

Awalnya saya ingin membuat search engine sendiri untuk mencari dokumen yang ada dalam website, namun ketika saya menggunakan search engine google untuk mencari referensi tentang search engine, saya menemukan search engine sphider ini. Dan saya pikir untuk kebutuhan saat ini sudah mencukupi menggunakan search engine ini. Untuk menghormati dan menghargai jerih payah tenaga, waktu, dan pikiran pengembang, tentu tidak enak jika menggunakannya secara cuma-cuma. Juga sebagai rasa terima kasih, saya ikut memberikan kontribusi donasi, walaupun jumlahnya mungkin sangat kecil sekali.

Setelah mencoba mencari tau pengembangnya, ternyata dia seorang Phd yang sudah bekerja di skype Lab. wah, luar biasa..! :). Publikasi ilmiahnya juga lumayan banyak, terutama berkaitan dengan machine learning dan artificial intelligent.

mari kita eksplore lagi…! 🙂

Big Data???

Ya, apa itu big data…???

Beberapa hari terakhir ini, dunia saya sedikit teralihkan dengan term big data ini. Apa sih big data ini?. sepertinya isu big data mulai diungkapkan ke permukaan semenjak orang sadar kalau kita kebanjiran data. apalagi sejak 2.0 mulai menjalar kemana-mana.

saya melihat film dokumenter di youtube, BBC Horizon 2013 The Age of Big Data, dimana data secara massive di-‘create’ baik oleh individu maupun lembaga. Salah satu lembaga yang akan berkontribusi adalah lembaga di bidang astronomi (dan tentu lembaga sains yang lain).

Dengan dibangunnya fasilitas-fasilitas survey langit seperti LSST (Large Synoptic Sky Survey) yang akan menghasilkan data kira-kira sampai 30 TB per malam, atau SKA ( Square Kilometer Array), sebuah system pengamatan teleskop radio rame-rame secara serentak, yang pasti juga menghasilkan data yang tidak main-main setiap malam.

SKA (Square Kilometer Array), system teleskop radio rame-rame yang digunakan untuk mengamati langit secara serentak bersama-sama. Image Credit: SPDO/Swinburne Astronomy Productions, Sumber: http://astrocompute.wordpress.com

Era media social seperti sekarang ini, setiap orang bisa menghasilkan data. Sejak bangun tidur sampai tidur lagi orang bisa menghasilkan data. Bangun tidur cek socmed, update socmed. Saat tidur-pun gadget terus mengupdate data.

Bagaimana pegelola mengelola data tersebut?. Bagaimana data tersebut disimpan dan bagaimana memanfaatkan data-data tersebut.

Sepertinya big data juga akan melanda sektor climate change. Sebagaimana kita tahu bahwa perubahan iklim tidak lepas dari data-data lingkungan. Data iklim dan data kondisi bumi dan sekitarnya. Bagaimana mengelola data ini sehingga menyebabkan kebermanfaatan data yang lebih luas. Bagaimana agar masyarakat luas bisa mendapat manfaat dari data iklim ini.

Ada juga apache hadoop, sebuah framework untuk mengelola data. ada juga HDFS, Hadoop Disrtibuted File System. Seperti apa semua system ini?

Jadi, apa itu big data? apakah kita terkena imbas oleh big data?… hmmm….

catatan pengamatan radio matahari,18 mei 2013

radio2013mei
Pengamatan Radio Matahari 18 Mei 2013, Observatorium Bosscha. credit: Alfan Nasrulloh

Weekend minggu lalu saya ke bandung dengan niat ke Observatorium Bosscha untuk refreshing melakukan cek teleskop radio jove yang ada di bosscha, terutama interferometer dua elemen. tujuan sampingannya sih untuk menyepi dari hiruk pikuk kota besar seperti jakarta ini, hehe. bosscha memang tempat yang nyaman, tempatnya hijau dan asri, udaranya sejuk, dan walaupun demikian, bosscha berisi penuh dengan keilmuan terkini. Teknologi yang tidak mainstream banyak ditemukan disini, perpustakaan dengan koleksi buku-buku yang tidak biasa dan tidak ada di tempat lain, tempat baca dengan suasana sepi dengan pemandangan lingkungan yang adem di mata. Kadang kabut turun dan menyelimuti pepohonan. rerumputan juga mendominasi landscape bosscha.

Checking…checking… ternyata komputernya baru :D. ok dan ternyata software pengamatannya-pun belum ada jadinya install softwarenya dulu. kira-kira berikut softwarenya:

  1. Radio Sky-Pipe. software utama untuk merekam data pengamatan
  2. Jupiter Pro. software pendukung pengamatan matahari dan jupiter
  3. Audacity. untuk merekam suara.

selain itu saya juga merancang sistem pengelolaan data hasil pengamatan agar semua data pengamatan terinventarisir dengan baik dan bisa dengan mudah diatur seperti diurutkan, ditata kembali, mudah untuk dicari, dan enak dilihat.

berikut kira-kira sketsa alur penanganan data untuk radio jove yang saya buat dengan bantuan antipapernote apps di Thinkpad tablet:

Diagram Alur Data Pengamatan dan Archival Radio JOVE. credit: Alfan Nasrulloh
Diagram Alur Data Pengamatan dan Archival Radio JOVE. credit: Alfan Nasrulloh