Pagi ini setelah kerjaan rada longgar, saya melanjutkan merapikan list kajian.net yang biasa saya download. Kajian.net sendiri sudah menjadi situs wajib untuk menimba ilmu Agama. Saat ini bisa dikatakan situs kajian.net menjadi repositori “podcast” kajian terbesar di Indonesia. Entah sudah berapa ribu kajian yang sudah tersedia di sana. Menurut list yang sudah saya buat, ada 113 pemateri yang sudah tersedia podcast kajiannya di sana. Itu belum judul-judul kajiannya yang bisa puluhan per ustadznya.

Bulan ini saya memang punya projek pribadi yang ingin dilaksanakan. Bermula dari ide memanfaatkan BW kampus yang seringkali nganggur malamnya. :-D  Yo to yud, din. Dari situ kemudian ada diskusi ringan dengan beberapa teman untuk membuat projek download bersama kajian.net.  Ya kan kalo download sendiri-sendiri sayang Bandwithnya. Mendingkan bareng-bareng, jadi bisa ada saving BW. Belum lagi kalo downloadnya asal -kayak sekarang, udah deh susah trackingnya. Dari situlah kemudian muncul ide merapikan download-an kajian.net.  Caranya dengan mendownload kajian per ustadz, di listing judul kajiannya dan url downloadnya. Biar rapi. Ke depannya, bisa di kategorikan berdasarkan pokok materi seperti yang sudah dilakukan di web utama kajian.net. Misal soal muslimah, soal pintu-pintu rezeki, soal problematika rumah tangga dll.

kajian.net

Listing sendiri baru berjalan beberapa waktu. Saya mulai dari list atas, dan salah satu teman saya mulai dari list bawah. Tapi sejalan dengan waktu kok sepertinya rada ribet. Ya karena saya harus membuka web kajian.net kemudian membuka halaman ceramah untuk mendapatkan list ustadz, kemudian di halaman ustadz ada beberapa judul kajian yang saya list terlebih dahulu ke excel. Setelah selesai terlist, saya beranjak untuk melist URL download kajian dengan membuka halaman per judul dan menyusunnya di notepad sehingga nanti tercipta file txt berisi link download. Salah satu contohnya adalah list kajian Ustadz Armen Halim Naro ini.

Proses berulang itu kemudian mengingatkan saya pada cara kerja Teleport yang biasa saya gunakan untuk mendownload keseluruhan web agar bisa diakses secara offline. Kalau tak salah, namaya web grabber. Mungkin tidak cocok kalau pada kasus ini saya menggunakan **web grabber**, tapi lebih ke arah **URL grabber**. Setahu saya, kalau web grabber hasil akhirnya adalah berbentuk halaman-halaman web yang tersimpan ketika di grab, sedang url grabber berisi kumpulan link yang sesuai kriteria ketika kita grab. Ya ini hanya dari perkiraan sotoy saya (evil_grin)

Next, kayaknya fokus saya bakal ke tema ini. Sekilas soal cara kerja web grabber bisa dibaca di sini. Prinsipnya kan hampir sama, jadi ndak papa buat referensi. Pembeda dari keduanya adalah outputnya 8-)

Salah satu clue yang sudah saya dapat adalah pemanfaatn script perl untuk ide ini. Berikut beberapa literatur yang menurut saya relevan :
- Petunjuk Pemakaian Skrip Perl
- [PERL] URL Link Grabber
- URLGrabber Project Page Up
- Url grabber on cygwin

Popularity: 31% [?]