Menjaga keseimbangan antara mengizinkan mesin pencari mengindeks situs dan melindungi konten dari “jarahan” bot AI (Large Language Models) menjadi tantangan terbesar para pemilik situs dan praktisi SEO saat ini.
Melihat keresahan ini, Cloudflare baru saja memperkenalkan kerangka kerja (framework) baru bernama Content Signals di dalam file robots.txt. Fitur ini digadang-gadang sebagai cara modern untuk memberi tahu bot AI bagaimana mereka harus memperlakukan konten kita.
Namun, belum sempat fitur ini diadopsi secara massal, John Mueller dari Google langsung memberikan “sanksi dingin”. Google secara terbuka menyatakan bahwa mereka sama sekali mengabaikan arahan tersebut.
Mengapa Google menolaknya, dan apa dampaknya bagi strategi Technical SEO Anda? Mari kita bedah bersama SEOpolitan.
Apa Itu Content Signals dari Cloudflare?
Bagi Anda yang belum familier, Cloudflare merancang Content Signals sebagai bahasa standar baru yang disisipkan ke dalam file robots.txt. Tujuannya adalah membagi bot pengais data menjadi tiga kategori utama:
- Search: Crawler tradisional yang bertujuan untuk indeksasi (seperti Googlebot atau Bingbot).
- Training: Bot yang mengumpulkan data khusus untuk melatih atau menyempurnakan model AI (LLM).
- Agent: Alat AI real-time yang bekerja atas perintah langsung pengguna (seperti ChatGPT-User atau Claude).
Selain kategori di atas, Cloudflare juga menyertakan atribut use (seperti use=immediate atau use=reference) untuk mengatur apakah bot boleh menyimpan data Anda secara permanen atau hanya sekadar merujuknya.
Di atas kertas, ini adalah solusi cerdas untuk mengontrol hak cipta konten di era generatif. Namun, ada satu masalah besar: Sistem ini tidak kompatibel dengan cara kerja crawler utama saat ini.
Klarifikasi John Mueller: “Hanya Menambah Bloat”
Dalam sebuah diskusi hangat di forum Reddit, John Mueller, Search Advocate dari Google, memberikan respons tegas terkait penerapan kode baru ini di robots.txt.
Menurut Mueller, arahan Content Signals dari Cloudflare:
“Tidak memiliki efek apa pun bagi crawler atau LLM mana pun.”
Ia menambahkan bahwa memasukkan baris kode tersebut ke dalam robots.txt Anda pada dasarnya hanya akan membuat file tersebut “penuh sesak (bloat) dan menambah beban pemeliharaan (maintenance) di masa mendatang.”
Mengapa Google Mengabaikannya?
File robots.txt pada dasarnya bekerja dengan prinsip honor system atau sistem berbasis kepatuhan sukarela. Sebuah aturan atau sintaks baru hanya akan berfungsi jika robot di ujung sana diprogram dan sepakat untuk membaca serta mematuhinya.
Google, OpenAI, Anthropic, dan raksasa teknologi lainnya telah memiliki protokol mereka sendiri. Google hanya mematuhi protokol standar baku (seperti aturan Disallow tradisional) dan direktif spesifik yang mereka terbitkan sendiri. Mereka tidak akan mengubah algoritma crawler mereka hanya untuk membaca format baru yang dibuat secara sepihak oleh pihak ketiga seperti CDN.
Bom Waktu: 15 September 2026
Meskipun teks Content Signals di robots.txt diabaikan oleh Google, Anda tidak bisa mengabaikan Cloudflare begitu saja. Mengapa? Karena Cloudflare memiliki rencana otomatisasi besar.
Mulai 15 September 2026, Cloudflare akan secara otomatis menerapkan pemblokiran default pada tingkat jaringan (CDN) untuk bot kategori “Training” dan “Agent” pada situs web yang menampilkan iklan. Langkah ini diambil Cloudflare untuk melindungi monetisasi para publisher dari audiens non-manusia.
Peringatan untuk praktisi SEO: Menjelang tenggat waktu 15 September ini, pastikan Anda memantau crawl log di Google Search Console secara ketat. Pemblokiran otomatis di tingkat CDN berpotensi memicu salah blokir (false positive) yang bisa menyebabkan crawl error pada bot penting yang sebenarnya Anda butuhkan.
Cara Benar Memblokir Bot AI Tanpa Merusak SEO Google
Jika menuliskan baris Content-Signals di robots.txt tidak berguna, lalu bagaimana cara melindungi konten Anda dari AI tanpa merusak peringkat di Google Search?
Sebagai praktisi SEO yang bijak, berikut adalah dua jalur resmi yang terbukti aman dan efektif:
1. Gunakan User-Agent Resmi yang Didukung
Jangan gunakan sintaks eksperimental. Gunakan User-Agent spesifik yang memang dirilis oleh masing-masing perusahaan AI.
- Untuk memblokir AI Google (Gemini) tanpa memengaruhi Google Search biasa:Plaintext
User-agent: Googlebot-Extended Disallow: / - Untuk memblokir bot pelatihan OpenAI (ChatGPT):Plaintext
User-agent: GPTBot Disallow: /
2. Manfaatkan Fitur WAF (Web Application Firewall) Cloudflare
Alih-alih mengandalkan teks di robots.txt yang bisa diabaikan oleh bot nakal, blokir mereka langsung di “pintu gerbang” jaringan.
Cloudflare menyediakan fitur AI Scrapers and Crawlers di dasbor keamanan (WAF) mereka. Mengaktifkan fitur ini jauh lebih efektif karena Cloudflare akan memblokir aktivitas scrapping di tingkat server berdasarkan perilaku bot, bukan sekadar berharap mereka patuh pada aturan teks di situs Anda.
Langkah Cloudflare menciptakan Content Signals sebenarnya membawa niat baik untuk menata ekosistem internet di era AI. Namun, pernyataan tegas dari Google mengingatkan kita pada realitas Technical SEO: Jangan memenuhi file robots.txt Anda dengan baris kode yang tidak diakui secara universal.
Tetap gunakan metode pemblokiran standar yang didukung resmi oleh Google dan OpenAI, serta bersiaplah memantau kesehatan perayapan situs Anda menjelang perubahan otomatis Cloudflare pada September mendatang.
Situs Anda mengalami penurunan traffic atau kendala pengindeksan setelah melakukan konfigurasi robots.txt? Jangan biarkan kesalahan teknis merusak visibilitas bisnis Anda. Hubungi tim expert di SEOpolitan untuk mendapatkan Comprehensive Technical SEO Audit sekarang juga!