10 साल पुराने जेनरेटर का उपयोग न करें। अपनी सामग्री को AI स्क्रेपर्स (GPTBot, CCBot, Claude) से बचाएं जबकि Googlebot और Bing आपको पूरी तरह से इंडेक्स करें।
मॉडल प्रशिक्षण के लिए आपकी साइट को स्क्रैप करने से 24+ ज्ञात AI प्रशिक्षण बॉट्स (GPTBot, CCBot, Anthropic, आदि) को तुरंत ब्लॉक करें।
User-agent: * Disallow:
पारंपरिक robots.txt जेनरेटर केवल Google और Bing जैसे सर्च इंजन पर ध्यान केंद्रित करते हैं। हालाँकि, आज वेबसाइट मालिकों के लिए सबसे बड़ा खतरा AI स्क्रेपिंग के माध्यम से डेटा चोरी है। GPTBot (OpenAI) और CCBot (Common Crawl) जैसे बॉट अनुमति के बिना विशाल LLM को प्रशिक्षित करने के लिए आपकी साइट को क्रॉल करते हैं।