Cloudflare blokir scraper AI dan berlakukan sistem bayar per akses konten. Upaya lindungi hak kreator dari pengambilan data tanpa izin.
Qaplo – Cloudflare, salah satu penyedia infrastruktur internet terbesar di dunia, kini mengambil langkah tegas dalam melindungi hak konten para kreator dan penerbit. Mulai pertengahan 2025, Cloudflare akan memblokir bot AI atau scraper AI yang sudah dikenal secara default, dan hanya akan mengizinkan akses jika ada izin serta kompensasi.
Fitur Baru: Bayar Per Crawl untuk Bot AI
Dalam kebijakan terbarunya, Cloudflare memperkenalkan sistem “Pay Per Crawl” atau bayar per kunjungan data. Melalui program ini, penerbit dapat menetapkan harga bagi perusahaan AI yang ingin mengakses konten mereka. Bot AI yang ingin menjelajah situs akan melihat tarif yang berlaku dan bisa memilih untuk membayar atau mundur.
Fitur ini masih terbatas untuk beberapa penerbit besar dan pembuat konten terkemuka. Namun, langkah ini disebut sebagai upaya awal untuk menciptakan ekosistem yang adil antara pemilik konten dan perusahaan AI.
Melanjutkan Perlindungan dari Tahun 2023
Cloudflare sebenarnya sudah mulai memberikan opsi pemblokiran scraper AI sejak tahun 2023. Awalnya, hanya bot yang mematuhi file robots.txt yang bisa dibatasi. Namun, kini Cloudflare secara default memblokir semua scraper AI, baik yang patuh maupun tidak pada robots.txt.
Cloudflare mengidentifikasi bot AI melalui database internal mereka yang berisi daftar scraper yang diketahui. Pemilik domain baru pun akan ditanya apakah ingin mengizinkan AI mengakses kontennya atau tidak.
AI Labyrinth: Perangkap Digital untuk Bot AI
Pada Maret lalu, Cloudflare juga memperkenalkan fitur bernama “AI Labyrinth”, yaitu sistem jebakan digital yang membuat bot AI tersesat dan tidak bisa mengakses konten secara bebas. Teknologi ini mendorong perusahaan AI untuk menghargai aturan dan meminta izin resmi sebelum menggunakan konten pihak ketiga.
Dukungan dari Media dan Platform Besar
Beberapa platform besar seperti The Associated Press, The Atlantic, Fortune, Stack Overflow, dan Quora telah menyatakan dukungan terhadap kebijakan baru Cloudflare ini. Mereka menilai bahwa semakin banyak orang mencari informasi melalui chatbot AI daripada mesin pencari tradisional, sehingga perlindungan konten menjadi semakin penting.
“Selama enam bulan terakhir, kepercayaan publik terhadap AI meningkat pesat. Ini berdampak langsung pada menurunnya pembaca konten asli,” kata CEO Cloudflare, Matthew Prince, dalam acara Axios Live.
Cloudflare Dorong Transparansi Bot AI
Cloudflare juga bekerja sama dengan perusahaan AI untuk memverifikasi identitas dan tujuan penggunaan data mereka. Bot AI kini didorong untuk menyatakan apakah mereka mengumpulkan konten untuk pelatihan model, inferensi, atau keperluan pencarian. Pemilik situs bisa meninjau informasi ini dan menentukan apakah akan mengizinkan bot tersebut mengakses situs mereka.
Langkah ini dianggap sebagai cara untuk mengembalikan kontrol ke tangan kreator konten. Di era di mana AI terus berkembang, Cloudflare berkomitmen untuk memastikan bahwa penggunaan data tetap etis, adil, dan berizin.
“Konten orisinal adalah inti dari internet. Kami harus melindunginya bersama-sama,” tegas Matthew Prince. “Scraper AI tidak boleh lagi mengakses konten tanpa batas.”
