Banyak perdebatan kebijakan berhenti di angka tanpa dicek asalnya. Cara menilai kebijakan publik dari data dimulai dari satu kebiasaan: telusuri siapa yang menghitung, apa yang dihitung, dan bagaimana angka itu disajikan. Tanpa langkah itu, diskusi mudah berputar pada klaim yang sulit diuji.
Mulai dari pertanyaan, bukan dari angka
Sebelum membuka tabel statistik, tulis dulu pertanyaan yang ingin dijawab. Misalnya, apakah program bantuan pangan menurunkan prevalensi gizi buruk di suatu daerah, atau hanya menambah jumlah penerima manfaat. Dua pertanyaan itu menuntut data yang berbeda.
Pemula sering langsung mencari angka yang paling mudah ditemukan, lalu menyusun kesimpulan mengikutinya. Urutan yang benar dibalik: rumuskan pertanyaan, tentukan indikator yang cocok, baru cari sumber datanya. Jika indikator tidak tersedia, akui keterbatasannya daripada memaksakan angka yang ada.
Kebijakan sosial biasanya punya banyak tujuan sekaligus: mengurangi kemiskinan, memperluas akses layanan, dan menekan biaya. Setiap tujuan butuh indikator sendiri. Menilai semuanya dengan satu angka, misalnya jumlah penerima, akan menghasilkan gambaran yang menyesatkan.
Periksa sumber dan metode pengumpulan data
Data resmi, data survei lembaga independen, dan data internal kementerian punya karakter berbeda. Data resmi umumnya tersedia berkala dan bisa diunduh, tetapi cakupannya kadang tertinggal beberapa tahun. Data survei bisa lebih baru, namun bergantung pada ukuran sampel dan metode penarikan responden.
Beberapa hal yang perlu dicek sebelum memakai angka apa pun:
- Lembaga mana yang menerbitkan, dan apakah lembaga itu punya kepentingan langsung atas hasilnya.
- Tahun pengumpulan data, bukan hanya tahun publikasi.
- Definisi operasional indikator, misalnya bagaimana “miskin” atau “bekerja” didefinisikan.
- Ukuran sampel dan cakupan wilayah, apakah nasional, provinsi, atau hanya beberapa kabupaten.
- Apakah ada catatan metodologi yang bisa diakses publik.
Jika sumber data tidak mencantumkan definisi, anggap angka itu belum bisa dipakai untuk menyimpulkan apa pun. Membandingkan dua angka dari sumber berbeda tanpa mengecek definisinya sering menghasilkan kesimpulan yang salah.
Bandingkan capaian dengan pembanding yang tepat
Angka tunggal tidak bercerita banyak. Kenaikan jumlah penerima manfaat perlu dibandingkan dengan pertumbuhan jumlah penduduk miskin, anggaran yang dipakai, dan capaian daerah lain dengan kondisi serupa. Tanpa pembanding, kenaikan bisa terlihat mengesankan padahal hanya mengikuti pertumbuhan alami.
Cara paling aman adalah memakai pembanding dari dalam kebijakan itu sendiri: target awal, capaian tahun sebelumnya, atau daerah yang tidak menerima program. Pembanding terakhir membantu memisahkan dampak program dari perubahan yang memang terjadi di mana-mana.
Untuk kebijakan yang menyangkut permohonan informasi, kualitas jawaban juga perlu dinilai, bukan hanya jumlah permohonan yang diproses. Panduan tentang cara menilai kualitas jawaban atas permohonan informasi publik bisa dipakai sebagai kerangka: cek kelengkapan jawaban, ketepatan waktu, dan alasan penolakan.
Kenali jebakan penyajian data
Grafik dengan sumbu vertikal yang tidak dimulai dari nol bisa membuat perubahan kecil terlihat dramatis. Persentase tanpa angka dasar juga menyulitkan pembaca menilai besaran sebenarnya. Kenaikan 50 persen dari 2 menjadi 3 kasus berbeda jauh maknanya dari kenaikan 50 persen dari 20.000 menjadi 30.000.
Jebakan lain adalah rata-rata yang menutupi sebaran. Rata-rata penerimaan bantuan di suatu provinsi bisa terlihat memadai, padahal beberapa kabupaten menerima jauh di bawahnya. Sebaran, nilai terendah, dan nilai tertinggi perlu dilihat bersama rata-rata.
Waspadai juga pemilihan rentang waktu. Memilih tahun dasar tertentu bisa membuat tren terlihat naik atau turun sesuai kebutuhan. Cek beberapa rentang waktu sebelum menyimpulkan arah perubahan.
Jika kebijakan yang dinilai melibatkan korporasi besar, telusuri juga kepentingan di baliknya. Langkah dalam cara membaca kepentingan korporasi di balik kebijakan publik bisa membantu membaca keterkaitan antara data, anggaran, dan pihak yang diuntungkan.
Susun catatan penilaian yang bisa diuji orang lain
Penilaian yang baik bisa diperiksa ulang oleh pembaca lain. Tulis sumber setiap angka, sebutkan tahun dan cakupannya, lalu jelaskan alasan memilih indikator tersebut. Catatan seperti ini membuat kritik lebih mudah dijawab dengan data, bukan dengan opini.
Format sederhana yang bisa dipakai:
- Pertanyaan yang ingin dijawab.
- Indikator dan definisinya.
- Sumber data, tahun, dan cakupan wilayah.
- Pembanding yang dipakai.
- Keterbatasan data yang ditemukan.
- Kesimpulan sementara dan hal yang masih perlu dicek.
Bagian keterbatasan sering dilewati pemula. Padahal di situ penilaian menunjukkan kejujuran intelektualnya. Menyebut apa yang tidak bisa disimpulkan dari data yang ada sama pentingnya dengan menyebut apa yang bisa.
Untuk kebijakan yang lebih luas, kerangka dalam cara menganalisis kebijakan sosial untuk pemula bisa dipakai sebagai lanjutan setelah data dasar terkumpul. Setelah itu, bandingkan temuan dengan indikator keberpihakan pada kelompok kecil agar penilaian tidak berhenti pada angka agregat.
Jika kebijakan menyangkut isu yang juga diliput media internasional, memeriksa beberapa sumber berita membantu melihat konteks yang mungkin terlewat. Daftar media peliput berita internasional paling berpengaruh bisa menjadi titik awal, dengan catatan tetap cek data primernya. Kebiasaan membaca berita dari beberapa negara juga melatih kepekaan terhadap perbedaan cara menghitung indikator yang sama.
Langkah terakhir adalah mendiskusikan temuan dengan orang lain yang punya latar berbeda. Data yang sama bisa ditafsirkan berbeda oleh penerima manfaat, pelaksana program, dan pengamat. Mendengar ketiganya membantu memisahkan kelemahan data dari kelemahan pelaksanaan.
Ringkasan
Menilai kebijakan publik dari data menuntut urutan yang jelas: rumuskan pertanyaan, periksa sumber dan definisi, bandingkan dengan pembanding yang tepat, lalu tuliskan keterbatasannya. Pemula tidak perlu menguasai statistik lanjutan untuk memulai. Yang dibutuhkan adalah kebiasaan menelusuri asal angka dan keberanian menyatakan apa yang belum bisa disimpulkan.
Pertanyaan yang Sering Diajukan
Apakah data resmi pemerintah selalu bisa dipercaya?
Data resmi umumnya bisa dipakai, tetapi tetap perlu dicek tahun pengumpulan, definisi indikator, dan cakupan wilayahnya. Bandingkan dengan sumber independen bila tersedia, dan catat perbedaan yang muncul.
Bagaimana jika data yang dibutuhkan tidak tersedia?
Sebutkan keterbatasan itu secara terbuka. Penilaian bisa tetap dibuat dengan indikator pengganti, asalkan alasannya dijelaskan dan kesimpulannya tidak ditarik terlalu jauh.
Berapa banyak data yang cukup untuk menilai satu kebijakan?
Tidak ada angka pasti. Yang penting adalah setiap klaim dalam penilaian punya sumber yang jelas, dan indikator yang dipakai benar-benar mengukur hal yang ingin dinilai.