Tidak dipungkiri lagi dunia transportasi modern berhubungan erat dengan data. Semua kemudahan yang kita dapatkan sampai hal terkecil seperti mau tahu sampai dimana si sopir gojek, sangat berhubungan dengan data yang berupa data titik GPS serta peta atau lebih umumnya dinamakan sebagai GIS yang sudah saya bahas sebelumnya disini. Pernahkah pembaca bertanya-tanya bagaimana Google Maps bisa memberi tahu kalian jalan tercepat ke sekolah atau tempat tujuan lainnya? Apa yang membuat Uber atau Gojek bisa memprediksi waktu kedatangan driver hanya dalam hitungan menit? Kenapa harga tiket pesawat atau kereta sering berubah-ubah setiap hari? Kita coba ulik dengan pembahasan sederhana.
Yang saya ingin bagikan gak muluk-muluk, karena ini hanya belajar bagaimana mendapatkan data transportasi. Semisal saya ingin mencari data transportasi lalu lintas harian di kota surabaya. Mungkin kalau dipikir cara yang paling tepat adalah menuju ke kantor dishub surabaya lalu meminta kepada pihak sana untuk mengarahkan ke PPID atau pejabat pengelola informasi dan dokumentasi,. Namun cara ini kurang canggih jika melihat hampir semua instansi mempunyai website yang mendukung undang-undang keterbukaan informasi publik alias SATU DATA INDONESIA. Dan tanpa bersusah payah saya dapat meluncur ke websitenya dishub surabaya dan data yang saya peroleh cukup lengkap.
Cukup lengkap datanya dan to the point langsung keluar tabelnya dan siap dipakai untuk laporan anak mahasiswa D4 Transportasi Fakultas Vokasi Unesa Surabaya. Lalu data apalagi ya? Kita menuju ke kakaknya yaitu dishub jatim, dan ketika saya membuka websitenya terdapat portal data di : https://labdata.dishub.jatimprov.go.id/ dan kayaknya saya kurang beruntung karena ada login untuk masuk kedalamnya. Wahh repot ini urusannya, namun saya tidak kurang akal dan menemukan menu yang bisa di klik yang menampilkan data lokasi terminal atau pelabuhan dari berbagai moda transportasi di jawa timur. Kita ulik aja apakah bisa menemukan API nya ?
Caranya cukup dengan klik kanan pada layar websitenya, lalu pilih bagian paling bawah yaitu "inspect" dan akan muncul layar di kanan untuk chrome atau kalau pake firefox muncul di bawah, kemudian langsung aja menuju ke bagian network untuk melihat proses yang dilakukan oleh website ini ketika salah satu menu di klik. Benar saja langsung terlihat API yang dipanggil oleh halaman web ini dan bisa kita dengan mudah mengambil response atau reply nya dengan klik kanan "copy response". Untuk menjadikan datanya lebih berguna maka bisa gunakan layanan pengubah Json to table (googling ada banyak) seperti hasil dibawah ini:
Dapet deh data alamat seluruh node moda transportasi di jawa timur baik darat laut udara lengkap dalam laporan berupa tabel pula. Lalu apakah saya mencuri? Kita kembalikan ke etika dan UU keterbukaan data, dan prinsipnya seperti ini :
Untuk memastikan tindakan Anda etis:
- Periksa Terms of Service dan robots.txt .
- Analisis header respons API (teknikal).
- Pastikan data bersifat publik dan tidak sensitif.
- Hubungi pemilik data untuk meminta izin jika ragu.
- Gunakan data secara bertanggung jawab dan berikan atribusi.
- Untuk data tugas akhir berikanlah sitasi pada daftar pustaka
Jika anda cukup yakin akan tindakan anda, ayo kita menuju database transportasi nasional di kementrian perhubungan https://portaldata.kemenhub.go.id/ dan mungkin yang keluar adalah error 500 (internal server error) hehehehe..maklum menterinya baru mungkin akan upgrade ke teknologi yang lebih canggih.
Jika anda berhasil masuk, pilih menu ke bagian dataset dan ambil berbagai jenis contoh laporan dunia transportasi dan saya pilihkan : https://portaldata.kemenhub.go.id/content/dataset/522 yaitu berupa dataset yang berisikan potensi pergerakan masyarakat pada natal 2023 dan tahun baru 2024:
Yang keluar adalah laporan yang cukup lengkap namun memiliki link satu-satu. Bagaimana untuk menjadikannya satu data json atau tabel csv ? Kita manfaatkan python dalam hal ini package beatyfulsop dan mungkin juga panda sebagai pengolahan frame data. Saya sudah sediakan contoh untuk kalian ulik di : https://shorturl.at/9GgzS .
Pada intinya script diatas akan mengumpulkan link json pada website dataset kemenhub, lalu mengambil isi jsonnya kemudian diubah menjadi file csv yang secara otomatis menjadi tabel pada google colab. Sangat mudah kok (padahal saya cukup bertanya ke mesin AI untuk terlihat seperti pintar koding ..hehehe).
Dan ujung kegatelan saya terhadap data transportasi yang ada di internet adalah ketika mengulik website penyedia tiket bus redbus.com yang hasilnya saya bisa mengambil data API nya secara lengkap.
Untuk yang terakhir ini cukup saya iming-imingi gambarnya aja ya ...gak etis membagikan cara mengambil dapur orang hehehe....
Selamat belajar
0 komentar:
Posting Komentar