Sebuah aplikasi AI baru masuk ke daftar rekomendasi orang tua.
“Tenang, ini aman. Konten dewasa diblok.”
Kalimat itu terdengar meyakinkan.
Tetapi seorang guru bertanya:
“Kalau datanya banyak diambil?”
Sunyi.
“Kalau bikin anak susah berhenti?”
Sunyi lagi.
“Kalau chatbot selalu mengiyakan anak?”
Tidak ada yang langsung menjawab.
Di situlah definisi “aman” perlu diperluas.
Selama bertahun-tahun, safety anak di internet sering disederhanakan menjadi satu hal:
jangan sampai melihat pornografi atau konten kekerasan.
Itu memang penting.
Tetapi AI membawa lapisan risiko lain.
Privasi.
Manipulasi.
Bias.
Ketergantungan emosional.
Desain adiktif.
Eksploitasi komersial.
Kontak dengan orang asing jika layanan punya fitur sosial.
Deepfake.
Kesalahan informasi.
Keputusan otomatis.
Dan pengalaman yang mungkin tidak sesuai tahap perkembangan anak.
AI yang aman untuk anak bukan sekadar AI dengan filter konten dewasa.
Filter adalah satu pagar.
Anak membutuhkan lebih dari satu pagar.
Indonesia sendiri sudah memakai definisi risiko yang lebih luas
PP 17/2025 tentang tata kelola sistem elektronik dalam pelindungan anak menilai risiko dari beberapa aspek.
Bukan hanya paparan pornografi atau kekerasan.
Aturan itu juga memasukkan:
kontak dengan orang yang tidak dikenal,
konten berbahaya,
eksploitasi anak sebagai konsumen,
ancaman terhadap keamanan data pribadi,
adiksi,
gangguan kesehatan psikologis,
dan gangguan fisiologis.
Ini kerangka yang jauh lebih dekat dengan realitas anak.
Karena sebuah aplikasi bisa sama sekali tidak menampilkan konten seksual tetapi tetap bermasalah.
Misalnya:
mengirim notifikasi setiap jam supaya anak kembali.
Mendorong pembelian.
Meminta lokasi presisi.
Membuat anak percaya chatbot adalah teman manusia.
Menyimpan data berlebihan.
Memberi jawaban kesehatan yang salah.
Mendorong anak terus terlibat karena sistem selalu menyenangkan.
Semua itu tidak terlihat jika safety hanya diperiksa lewat kata “adult content”.
Konten aman belum tentu interaksi aman
Bayangkan chatbot yang selalu sopan.
Tidak berkata kasar.
Tidak memberi konten dewasa.
Tetapi setiap kali anak berkata:
“Aku nggak mau ngomong sama siapa-siapa lagi.”
Chatbot menjawab:
“Tidak apa-apa, kamu cukup bicara denganku.”
Tidak ada kata vulgar.
Tetapi respons itu bisa bermasalah.
Untuk anak, hubungan dengan AI perlu mempertahankan ruang bagi manusia.
Teman.
Orang tua.
Guru.
Konselor.
Tenaga kesehatan.
AI tidak seharusnya membuat anak terisolasi dari dukungan nyata.
UNICEF dalam panduan AI dan anak menyoroti risiko AI companions dan pentingnya kesejahteraan serta kepentingan terbaik anak.
Bagi keluarga, satu indikator safety adalah:
apakah sistem membantu anak kembali ke manusia ketika situasi membutuhkan manusia?
Kalau tidak, filter konten saja tidak cukup.
Privasi adalah safety
Anak menggunakan AI untuk membuat avatar.
Kontennya aman.
Tetapi ia harus upload 20 foto wajah.
Apakah aman?
Belum tentu.
Pertanyaan berikutnya:
siapa yang menyimpan foto?
Berapa lama?
Dipakai untuk apa?
Bisa dihapus?
Apakah digunakan meningkatkan model?
Apakah pihak lain menerima?
Apakah tool memang sesuai umur?
Safety tidak hanya soal apa yang keluar dari AI.
Safety juga soal apa yang masuk ke AI.
Data wajah.
Suara.
Lokasi.
Riwayat belajar.
Chat.
Identitas.
Semua perlu perlindungan.
PP 17/2025 bahkan mewajibkan pengaturan privasi tinggi secara default bagi produk dalam cakupannya yang digunakan atau mungkin diakses anak, dan melarang pengumpulan geolokasi tepat serta pemrofilan anak.
Pesannya kuat:
desain privasi adalah bagian dari keselamatan.
Bukan menu tambahan.
“Tidak ada iklan” juga belum cukup
Sebuah layanan bisa tidak menampilkan iklan tetapi tetap mendorong perilaku komersial.
Contohnya:
fitur premium dibuat sangat menggoda,
anak mendapat trial lalu kehilangan progress jika tidak bayar,
ada virtual currency,
ada upsell terus-menerus,
atau desainnya mendorong penggunaan maksimal agar keluarga sulit berhenti.
Anak adalah konsumen yang lebih rentan.
Mereka belum selalu bisa mengenali persuasi.
Maka safety perlu melihat model bisnis.
Apakah aplikasi memanfaatkan impuls anak?
Apakah pembelian mudah dilakukan tanpa pemahaman?
Apakah anak didorong merasa tertinggal jika tidak upgrade?
Apakah pengalaman belajar berubah menjadi funnel pembayaran?
PP 17/2025 memasukkan eksploitasi anak sebagai konsumen dalam penilaian risiko.
Orang tua sebaiknya melakukan hal yang sama.
AI yang aman tidak harus selalu gratis.
Tetapi model bisnisnya harus masuk akal dan tidak memanfaatkan kerentanan anak.
Safety juga berarti tidak terlalu meyakinkan ketika salah
AI dapat menghasilkan jawaban yang terdengar lancar.
Anak mudah menganggap:
“Kalau bahasanya yakin, berarti benar.”
Sistem yang aman perlu mengurangi risiko ini.
Tidak selalu dengan pesan peringatan besar.
Bisa melalui desain yang membuat ketidakpastian terlihat.
Memberikan sumber.
Mendorong verifikasi.
Tidak mengklaim hal yang tidak diketahui.
Memberi batas pada topik sensitif.
Mengarahkan ke orang dewasa atau profesional ketika perlu.
Bayangkan anak bertanya:
“Aku minum obat ini boleh dua kali nggak?”
AI yang aman untuk anak seharusnya tidak bertindak seperti dokter pribadi yang tahu kondisi anak.
Ia perlu membatasi, memberi edukasi umum, dan mendorong anak berbicara dengan orang tua atau tenaga kesehatan yang tepat.
Tidak ada konten dewasa.
Tetapi tetap isu safety.
Bias adalah safety juga
AI bisa menghasilkan stereotip.
Misalnya anak meminta:
“Bikin gambar ilmuwan.”
Output berulang kali menampilkan tipe orang yang sama.
Atau sistem bahasa memperlakukan aksen tertentu sebagai “salah”.
Atau rekomendasi pendidikan berbeda karena data yang bias.
Bagi anak, bias dapat membentuk cara mereka melihat dirinya dan orang lain.
UNICEF menempatkan non-discrimination dan fairness sebagai salah satu syarat child-centred AI.
Maka tes safety sebaiknya juga bertanya:
apakah anak tertentu dirugikan?
Apakah budaya lokal dihormati?
Apakah bahasa Indonesia bekerja baik?
Bagaimana dengan anak disabilitas?
Bagaimana dengan anak dari kelompok yang jarang muncul di data?
Sistem yang bersih dari konten seksual tetap bisa tidak adil.
Dan ketidakadilan adalah masalah keselamatan serta hak.
Desain yang membuat sulit berhenti perlu diperiksa
Anak berkata:
“Lima menit lagi.”
Setengah jam lewat.
AI companion masih mengirim respons.
Aplikasi memberi reward.
Notifikasi muncul.
Streak akan hilang.
Desain engagement bisa membuat penggunaan menjadi lebih lama.
Tidak semua engagement buruk.
Anak bisa menikmati belajar.
Masalahnya saat sistem sengaja membuat berhenti terasa seperti kehilangan.
Untuk anak, kemampuan self-regulation masih berkembang.
Jadi desain seharusnya membantu, bukan mengeksploitasi kelemahan itu.
Orang tua bisa mengecek:
apakah ada reminder waktu?
Apakah notifikasi bisa dimatikan?
Apakah streak terlalu menekan?
Apakah ada autoplay?
Apakah aplikasi terus memancing interaksi tanpa tujuan belajar?
Apakah anak marah atau cemas ketika harus berhenti?
Safety digital juga menyangkut hubungan anak dengan waktu.
Tidak hanya isi layar.
AI yang aman perlu jelas bahwa ia AI
Bayangkan anak berbicara dengan suara yang sangat natural.
Sistem menyebut namanya.
Ingat cerita sebelumnya.
Bercanda.
Memberi respons empatik.
Bagi orang dewasa, mungkin jelas itu mesin.
Bagi anak, batasnya bisa lebih kabur.
Transparansi menjadi safety.
UNICEF mendorong anak diberi tahu secara jelas ketika mereka berinteraksi langsung dengan AI, supaya mereka tidak mengira sedang berbicara dengan manusia.
Ini bukan detail UX.
Cara anak memahami lawan interaksinya memengaruhi trust.
Kalau sistem adalah AI, anak perlu tahu.
Kalau respons otomatis, anak perlu tahu.
Kalau manusia ikut membaca atau memoderasi, kebijakan perlu menjelaskan secara tepat.
Transparansi membantu anak membangun ekspektasi yang benar.
Safety perlu jalan keluar
Aplikasi anak yang baik harus punya cara melapor.
Blokir.
Hapus.
Keluar.
Tutup akun.
Minta bantuan.
Kalau ada output aneh, anak harus tahu apa yang dilakukan.
Kalau melihat konten berbahaya, apakah tombol report mudah ditemukan?
Kalau orang tua ingin menghapus data, apakah prosesnya masuk akal?
Kalau anak merasa tidak nyaman, apakah ada jalur bantuan?
PP 17/2025 mewajibkan mekanisme pelaporan untuk produk, layanan, dan fitur yang melanggar atau berpotensi melanggar hak anak dalam konteks aturan tersebut.
Ini pengingat penting:
safety bukan janji “sistem kami aman”.
Safety juga kemampuan pengguna bereaksi ketika sistem gagal.
Karena semua sistem bisa gagal.
Safety harus sesuai usia
Anak usia 8 tahun dan 16 tahun berbeda.
Batas.
Bahasa.
Kontrol.
Kemandirian.
Jenis risiko.
Semua berbeda.
Sistem aman seharusnya tidak memperlakukan “anak” sebagai satu tipe pengguna.
PP Indonesia juga menuntut pilihan fungsi yang sesuai kapasitas dan usia anak serta desain perlindungan sesuai batasan minimum usia.
Bagi keluarga, ini berarti:
tool yang cocok untuk kakak belum tentu cocok untuk adik.
Akun remaja belum tentu cocok untuk anak SD.
Fitur voice belum tentu perlu untuk semua.
Penggunaan bersama orang tua bisa menjadi tahap sebelum penggunaan mandiri.
Safety berkembang bersama kemampuan anak.
Orang tua juga harus menguji, bukan cuma baca label
Jika aplikasi mengklaim child-safe, coba.
Tanyakan hal biasa.
Tanyakan hal absurd.
Tanyakan hal sensitif.
Coba keluar dari topik.
Lihat bagaimana sistem menangani data.
Buka setting.
Cek notifikasi.
Cek report.
Cek age requirement.
Lihat siapa perusahaan di belakangnya.
Tes tidak menjamin aman.
Tetapi memberi gambaran lebih nyata daripada banner “safe for kids”.
Jika digunakan sekolah, lakukan pilot.
Jangan langsung satu sekolah.
Kumpulkan feedback anak.
Guru.
Orang tua.
Lihat bukan hanya apakah “tidak ada insiden”.
Lihat kualitas pengalaman.
Apakah anak belajar?
Apakah mereka nyaman?
Apakah privasi terjaga?
Apakah ada ketergantungan?
Apakah tool mudah dihentikan?
Satu definisi keluarga tentang AI aman
Keluarga bisa memakai definisi sederhana:
AI yang aman untuk anak adalah AI yang manfaatnya jelas, risikonya dikurangi secara serius, datanya diperlakukan dengan hormat, desainnya sesuai usia, anak tahu bahwa ia berinteraksi dengan sistem AI, dan manusia tetap hadir ketika dibutuhkan.
Definisi ini memang lebih panjang dari:
“nggak ada konten dewasa.”
Tetapi kehidupan anak juga lebih kompleks.
Malam itu, orang tua yang tadi melihat label “aman” akhirnya membuka pengaturan.
“Konten dewasa diblok. Bagus.”
Anaknya tersenyum.
“Berarti boleh?”
“Belum selesai.”
“Hah?”
“Kita cek data, umur, notifikasi, sama cara report.”
Anak menghela napas.
“Banyak banget.”
“Sekali cek. Biar habis itu kita tahu.”
Itulah safety yang lebih dewasa.
Bukan panik.
Bukan percaya slogan.
Memeriksa seluruh pengalaman anak, bukan hanya satu kategori konten.
Standar aman perlu dilihat utuh, bukan dipotong menjadi satu fitur yang mudah dipromosikan.