Pukul 10.15, wali kelas menerima pesan dari seorang murid.
“Bu, saya dapat nol karena sistem bilang tugas saya dibuat AI. Padahal saya nulis sendiri.”
Guru membuka dashboard.
Ada tanda merah.
Confidence tinggi.
Ia melihat dokumen siswa.
“Coba kirim draft sebelumnya,” katanya.
Murid mengirim tiga versi.
Ada outline tulisan tangan.
Ada histori revisi.
Guru mulai ragu pada hasil sistem.
Satu pertanyaan langsung muncul.
Kalau AI membuat kesalahan, siapa yang bertanggung jawab?
Jawabannya tidak boleh:
“AI.”
AI dapat menghasilkan output.
AI dapat memberi skor.
AI dapat merekomendasikan.
AI dapat salah.
Tetapi tanggung jawab harus tetap berada pada manusia dan organisasi yang merancang, menyediakan, memilih, menerapkan, serta menggunakan sistem.
UNESCO dalam Recommendation on the Ethics of Artificial Intelligence menegaskan prinsip yang sangat penting: tanggung jawab dan akuntabilitas akhir harus tetap berada pada manusia. Teknologi AI tidak boleh menjadi tempat manusia membuang tanggung jawab.
Bagi keluarga dan sekolah, prinsip besar itu sangat praktis.
Jangan pernah menerima kalimat:
“Bukan keputusan kami. Sistem yang bilang.”
Siapa yang memilih menggunakan AI?
Ini titik pertama.
Sekolah memutuskan memakai tool.
Guru memilih mengandalkan output.
Perusahaan membangun sistem.
Vendor mengatur fitur.
Pihak lain mungkin menyediakan model.
Setiap pihak punya peran.
Kalau tool dipakai untuk membantu tugas sederhana, tanggung jawabnya mungkin ringan.
Kalau dipakai untuk keputusan serius, tanggung jawab meningkat.
Misalnya:
AI membantu membuat lima ide soal.
Guru tetap cek.
Risiko relatif rendah.
Bandingkan:
AI menandai siswa melakukan kecurangan.
Anak mendapat sanksi.
Konsekuensi besar.
Di sini sekolah tidak boleh bersembunyi di balik vendor.
Keputusan disiplin adalah tanggung jawab sekolah.
AI hanya alat bantu.
Semakin besar dampaknya, semakin tinggi standar pemeriksaan manusia.
Kesalahan AI bukan satu jenis
Ada beberapa sumber kesalahan.
Data input salah.
Model salah.
Prompt ambigu.
Sistem tidak memahami konteks.
Integrasi salah.
Pengguna salah membaca output.
UI membuat informasi terlalu meyakinkan.
Vendor mengubah fitur.
Setting keliru.
Manusia tidak melakukan review.
Karena itu pertanyaan “siapa salah?” kadang terlalu cepat.
Pertanyaan awal yang lebih berguna:
“Di mana kegagalan terjadi?”
Kalau diagnosis salah, perbaikan juga salah.
Misalnya sistem deteksi tugas AI sering false positive.
Solusinya bukan hanya meminta guru “lebih hati-hati”.
Mungkin tool memang tidak layak dipakai sebagai dasar sanksi.
Atau vendor perlu memperbaiki.
Atau sekolah harus mengubah policy.
Akuntabilitas bukan berburu kambing hitam.
Akuntabilitas memastikan ada pihak yang bertugas memperbaiki sistem dan memulihkan dampak.
Pengguna AI tetap bertanggung jawab pada hasil yang digunakan
Seorang anak meminta AI membuat fakta untuk presentasi.
AI salah.
Anak memasukkan tanpa cek.
Guru bertanya:
“Siapa bertanggung jawab?”
Anak mungkin menjawab:
“AI.”
Ini kesempatan belajar.
Kalau anak memilih memasukkan informasi ke tugas, ia tetap punya tanggung jawab memeriksa.
Sama seperti menggunakan kalkulator.
Kalau angka yang dimasukkan salah, kalkulator tidak mengambil tanggung jawab tugas.
Tetapi konteks penting.
Anak tidak boleh dibebani tanggung jawab yang sebenarnya milik penyedia sistem.
Kalau platform menyembunyikan risiko atau sekolah memaksa penggunaan tool tertentu, tanggung jawab institusi tetap ada.
Jadi accountability bertingkat.
Pengguna bertanggung jawab pada keputusan mereka sesuai kapasitas.
Guru pada keputusan akademik.
Sekolah pada kebijakan.
Vendor pada sistem dan kewajibannya.
Pembuat model pada aspek sesuai peran mereka.
Regulator pada kerangka pengawasan.
Tidak semua sama.
Tetapi tidak ada yang boleh hilang.
“Human in the loop” harus benar-benar manusia
Banyak organisasi berkata:
“Tenang, keputusan tetap ditinjau manusia.”
Bagus.
Tetapi bagaimana review-nya?
Kalau manusia hanya menekan Accept karena sistem terlihat pintar, itu bukan oversight kuat.
Kalau guru menerima 200 alert dan hanya punya lima menit, review mungkin nominal.
Kalau staf tidak boleh mengubah hasil sistem, human review hanya formalitas.
Akuntabilitas membutuhkan manusia yang:
mengerti perannya,
punya informasi,
bisa bertanya,
bisa override,
dan tahu kapan sistem tidak dapat dipercaya.
Tanpa itu, organisasi menciptakan ilusi tanggung jawab.
Ada manusia di layar, tetapi mesin tetap mengendalikan.
Anak harus punya hak untuk mengatakan “hasil ini salah”
Ini salah satu mekanisme accountability paling konkret.
Siswa perlu punya jalur:
minta penjelasan,
mengajukan keberatan,
menunjukkan bukti,
meminta review manusia,
dan mendapat koreksi.
Bukan semua keberatan otomatis benar.
Tetapi semua keberatan layak diproses dengan adil.
Bayangkan anak mendapat skor pronunciation rendah karena sistem gagal mengenali aksennya.
Kalau tidak ada jalur koreksi, skor salah menjadi realitas.
Kalau ada guru yang bisa mendengar langsung, error bisa diperbaiki.
Teknologi perlu pintu keluar.
Anak tidak boleh terjebak dalam keputusan mesin.
Vendor bertanggung jawab pada apa yang mereka klaim
Jika perusahaan berkata:
“AI kami 100 persen akurat mendeteksi kebohongan,”
klaim itu harus bisa dipertanggungjawabkan.
Kalau perusahaan menjual tool untuk sekolah, mereka harus transparan tentang batas.
Data.
Akurasi.
Bias.
Use case.
Risiko.
Kondisi penggunaan.
Vendor tidak seharusnya memasarkan sistem seolah tidak pernah salah.
AI yang bertanggung jawab justru berani menyebut keterbatasan.
Bagi sekolah, jangan hanya tanya:
“Apa fiturnya?”
Tanya:
“Kapan tool ini tidak boleh dipakai?”
Vendor yang matang biasanya punya jawaban.
Kalau jawabannya:
“Bisa untuk semua,”
justru perlu curiga.
Tidak ada sistem sempurna untuk semua konteks.
Sekolah bertanggung jawab memilih alat yang proporsional
Sekolah tidak bisa berkata:
“Vendor terkenal, jadi aman.”
Nama besar bukan pengganti due diligence.
Sekolah perlu menilai:
tujuan,
jenis data,
batas usia,
risiko,
fairness,
security,
privacy,
mekanisme banding,
human oversight,
dan dampak pendidikan.
Jika tool dipakai untuk keputusan penting, standar harus lebih tinggi.
Kalau vendor tidak menyediakan informasi cukup, sekolah boleh tidak menggunakan.
Ini bagian dari accountability sebelum kesalahan.
Bukan hanya setelah.
Orang tua juga berhak bertanya:
“Kenapa tool ini dipilih?”
Jawaban “karena banyak sekolah lain pakai” belum cukup.
Anak bertanggung jawab sesuai usia, bukan sebagai kambing hitam
Anak bisa melakukan kesalahan.
Memasukkan data pribadi.
Menggunakan AI untuk menyontek.
Membuat deepfake.
Membagikan output salah.
Mereka perlu belajar konsekuensi.
Tetapi jangan membebankan kegagalan sistem kepada anak hanya karena mereka pengguna termuda.
Jika UI sengaja manipulatif, perusahaan punya tanggung jawab.
Jika sekolah tidak memberi aturan, institusi punya tanggung jawab.
Jika fitur tidak sesuai usia, desain perlu dipertanyakan.
Jika orang tua tidak pernah memberi pendampingan, keluarga punya bagian.
Akuntabilitas child-centred melihat power imbalance.
Anak punya daya kontrol lebih kecil dibanding perusahaan dan institusi.
Karena itu tanggung jawab mereka harus proporsional dengan usia dan kapasitas.
UNICEF menempatkan accountability sebagai bagian dari AI yang berpusat pada anak.
Bukan sekadar mengajari anak “hati-hati”.
Sistem juga harus bertanggung jawab.
Apa yang harus terjadi setelah AI salah?
Pertama, hentikan dampak.
Kalau nilai salah, tahan keputusan.
Kalau konten berbahaya muncul, hentikan distribusi.
Kalau data terekspos, batasi akses.
Kedua, periksa.
Apa yang terjadi?
Data apa?
Siapa terdampak?
Ketiga, koreksi.
Nilai diperbaiki.
Label dihapus.
Konten diturunkan.
Data dipulihkan jika memungkinkan.
Keempat, informasikan pihak yang relevan.
Jangan menyembunyikan.
Kelima, perbaiki sistem.
Ubah policy.
Training.
Setting.
Vendor.
Atau hentikan penggunaan.
Akuntabilitas bukan sekadar berkata:
“Mohon maaf atas ketidaknyamanan.”
Harus ada perubahan.
Kalau kesalahan yang sama berulang, sistem accountability gagal.
Jangan memperlakukan error AI seperti cuaca
Kadang bahasa organisasi aneh.
“Terjadi kesalahan sistem.”
Seolah kesalahan datang seperti hujan.
Tidak ada manusia.
Tidak ada keputusan.
Padahal sistem dibuat, dipasang, dan dioperasikan manusia.
Bahasa accountability harus spesifik.
“Kami menggunakan tool ini.”
“Outputnya salah.”
“Review manusia tidak berjalan sesuai prosedur.”
“Kami membatalkan keputusan.”
“Kami mengubah proses.”
Spesifik membuat tanggung jawab terlihat.
Anak belajar bahwa institusi juga bisa mengakui kesalahan.
Itu penting untuk trust.
Akuntabilitas juga berarti dokumentasi
Kalau keputusan penting menggunakan AI, sekolah perlu mencatat.
Tool apa.
Versi atau konfigurasi relevan.
Data apa.
Output apa.
Siapa review.
Apa keputusan akhir.
Kenapa keputusan berbeda dari rekomendasi jika berbeda.
Dokumentasi membantu ketika ada pertanyaan.
Tanpa catatan, semua bergantung ingatan.
“Kayaknya sistem waktu itu bilang…”
Tidak cukup.
Semakin besar dampak, semakin kuat kebutuhan audit trail.
Tentu dokumentasi juga harus menjaga privasi.
Jangan menyimpan data anak berlebihan hanya demi audit.
Kembali ke prinsip minimisasi.
Tanggung jawab dan privacy harus jalan bersama.
Bagaimana menjelaskan accountability kepada anak?
Gunakan contoh sehari-hari.
Anak memakai GPS.
GPS salah arah.
Apakah anak harus masuk sungai karena aplikasi bilang belok?
Tidak.
Manusia tetap melihat kondisi.
Atau resep AI.
AI menyarankan campuran bahan yang aneh.
Apakah langsung dimakan?
Tidak.
Cek.
Atau tugas.
AI memberi fakta.
Siapa yang memasukkan ke presentasi?
Kita.
Anak memahami bahwa alat memberi saran, pengguna tetap menilai.
Tetapi kalau alat itu dipaksa oleh sekolah dan memberi keputusan besar, ada orang dewasa yang bertanggung jawab menyediakan jalan koreksi.
Dua arah ini penting.
Personal responsibility dan institutional accountability.
Bukan salah satu.
UNESCO memberi prinsip yang relevan: ultimate responsibility tetap pada manusia
Ini harus menjadi garis merah.
AI tidak punya legal personality yang membuatnya bisa dihukum, meminta maaf dengan tanggung jawab moral, atau memberi pemulihan sendiri.
Manusia dan organisasi harus tetap berada di ujung rantai.
Bukan berarti satu developer bertanggung jawab atas semua hal yang dilakukan pengguna.
Tanggung jawab mengikuti peran.
Tetapi sistem governance harus selalu bisa menjawab:
“Siapa yang punya kewajiban melakukan apa?”
Kalau jawabannya kabur, desain tanggung jawab belum selesai.
Untuk anak, kekaburan ini lebih berbahaya karena mereka punya daya tawar lebih kecil.
Kembali ke tugas yang dianggap dibuat AI
Guru akhirnya memeriksa draft.
Ia bicara dengan murid.
Melihat histori.
Membandingkan gaya.
Kemudian berkata:
“Flag sistem tidak cukup untuk menyimpulkan kamu curang. Nilainya saya tinjau ulang.”
Anak terlihat lega.
Guru lalu melaporkan kasus ke tim sekolah.
Mereka mengubah aturan:
tool deteksi tidak boleh menjadi satu-satunya dasar sanksi.
Itulah accountability yang benar.
Bukan pura-pura sistem tidak pernah salah.
Bukan juga membuang semua teknologi.
Kesalahan dijadikan sinyal untuk memperbaiki proses.
Kalau AI membuat kesalahan, pertanyaannya bukan siapa yang bisa kita salahkan paling cepat.
Pertanyaannya:
siapa punya kendali,
siapa punya kewajiban,
siapa bisa memperbaiki,
dan siapa memastikan anak tidak menanggung kesalahan sistem sendirian?
AI boleh membantu keputusan.
AI boleh mempercepat.
AI boleh menemukan pola.
Tetapi ketika dampaknya menyentuh kehidupan anak, tanggung jawab terakhir tidak boleh menjadi kotak hitam.
Harus ada manusia yang bisa menjawab:
“Kami yang memutuskan. Kami yang akan menjelaskan. Dan kalau salah, kami yang akan memperbaiki.”