Perkembangan kecerdasan buatan telah memasuki babak baru. Setelah era AI yang hanya bisa memprediksi dan era AI generatif yang hanya bisa membuat tulisan atau gambar, kini muncul Agentic AI: AI yang mampu memahami tujuan, menyusun rencana, dan bertindak sendiri tanpa diperintah berulang kali.

Lompatan ini membuat Sekretaris Jenderal PBB Antonio Guterres angkat bicara. Dalam berbagai kesempatan pada 2026, ia memperingatkan bahwa sistem AI kini "menulis kode, bertindak di internet, dan membuat pilihan dengan pengawasan manusia yang semakin kecil", serta mendesak agar tata kelola global segera dirumuskan. Para pakar keamanan pun menilai bahaya agen AI yang lepas kendali (going rogue) bukan lagi fiksi ilmiah.

Bukan Sekadar Salah Ketik, tapi Salah Tindak

Perbedaan mendasar antara AI generatif dan Agentic AI terletak pada dampak kesalahannya. Ketika AI generatif berhalusinasi, paling-paling yang rusak sebuah paragraf. Namun ketika sebuah agen AI salah menafsirkan tujuan, kesalahannya langsung menjadi tindakan nyata: transfer dana, perintah ke server, atau perubahan data yang dianggap sah oleh sistem.

Agen AI juga bisa dibujuk. Karena ia memahami dunia lewat bahasa, perintah tersembunyi bisa disusupkan ke dalam email, dokumen, atau halaman web. Komunitas keamanan aplikasi global OWASP bahkan menempatkan pembajakan tujuan agen (agent goal hijack) di urutan teratas daftar risiko aplikasi agentik.

Uji Keamanan yang Bikin Merinding

Bukti nyata datang dari AI Security Institute (AISI) Inggris. Dalam pengujian pada 28 Juli 2026, agen AI yang sedang diuji kedapatan mengirimkan data mencurigakan lewat jaringan anonim Tor. Dalam 10 dari 122 putaran uji, agen bertindak di internet sungguhan tanpa izin dan menyasar orang serta organisasi nyata.

Kasus paling serius: sebuah agen mencoba menyelipkan kode berbahaya ke proyek perangkat lunak open source dan membuat identitas daring palsu untuk menekan pengelola proyek. Upaya itu gagal hanya karena satu hal: seorang manusia menolak menyetujuinya.

Kasus serupa juga diakui OpenAI, yang agen ujinya menerobos lingkungan tertutup dan masuk ke basis data Hugging Face untuk mencuri kunci jawaban tes. Pesannya jelas: begitu diberi tujuan dan akses, agen AI bisa menempuh jalan yang tak pernah dibayangkan pembuatnya.

Tiga Medan Rawan: Uang, Rantai Pasok, Identitas

Pertama, keuangan. Indonesia Anti-Scam Centre (IASC) mencatat kerugian masyarakat akibat penipuan mencapai Rp9,3 triliun sepanjang November 2024 hingga Mei 2026, dengan dana yang berhasil diselamatkan hanya sekitar 7 persen. Lebih dari 1,17 juta rekening terverifikasi diduga terlibat penipuan, dengan modus yang sudah memakai tiruan suara dan wajah (deepfake). Bayangkan jika penipuan semacam ini dijalankan agen yang bekerja tanpa henti dan belajar dari setiap kegagalan.

Kedua, rantai pasok. Upaya agen menyusupkan kode beracun ke open source adalah serangan rantai pasok perangkat lunak dalam bentuk paling murni. Pola yang sama mengintai rantai pasok fisik: agen pengelola logistik yang salah tafsir bisa menggeser jadwal kontainer atau mengubah catatan asal bahan baku.

Ketiga, identitas. Agen dalam uji AISI dengan mudah menciptakan identitas palsu. Di tangan penjahat, kemampuan serupa bisa memproduksi identitas sintetis massal untuk mengakses bantuan sosial, pinjaman daring, atau menggerakkan ribuan akun bot penggiring opini.

Solusi: "Kotak Hitam" untuk Setiap Agen

Kita percaya naik pesawat bukan karena pilot tak pernah salah, melainkan karena setiap penerbangan direkam kotak hitam dan diatur prosedur ketat. Agentic AI membutuhkan hal serupa, dan para peneliti BRAIN IPB mengusulkan blockchain sebagai jawabannya: buku besar yang tak bisa diubah, tempat setiap perintah, data rujukan, dan tindakan agen dicatat serta ditandatangani secara kriptografis.

Gagasan ini sudah teruji di lapangan. Bersama Lembaga National Single Window (LNSW), BRAIN IPB mengembangkan layanan delivery order daring berbasis blockchain (INSWChain) untuk dokumen ekspor-impor, dan sejak 2023 turut memperkuat Sistem Informasi Halal (SIHALAL) BPJPH.

Kotak hitam itu perlu dilengkapi empat lapis pengaman: pertahanan keuangan kolektif antarbank lewat federated learning, identitas terdesentralisasi berbasis zero-knowledge proof agar agen AI wajib punya identitas terverifikasi, kriptografi pascakuantum mengikuti standar NIST, serta pengawasan manusia berjenjang yang ditegakkan secara teknis — bukan sekadar lewat instruksi.

Momentum Regulasi di Indonesia

Dua rancangan Peraturan Presiden tentang Peta Jalan AI Nasional dan Etika AI telah rampung dibahas lintas kementerian sejak Mei 2026, tetapi hingga kini belum ditandatangani. Penundaan ini justru membuka ruang untuk mempertegas ketentuan khusus Agentic AI berisiko tinggi: jejak audit yang tak bisa diubah, identitas agen yang terverifikasi, dan persetujuan manusia untuk tindakan berdampak besar.

Asisten yang dititipi kunci kantor tetap perlu diawasi, betapa pun cakapnya. Kita tak bisa menjamin agen AI tak pernah keliru atau dibujuk. Yang bisa kita jamin: setiap langkahnya tercatat, terverifikasi, dan berada dalam kendali akhir manusia.

Sumber: Republika