“Indexed but blocked by robots.txt” इसका क्या मतलब है और कैसे ठीक करें

“Indexed but blocked by robots.txt” इसका क्या मतलब है और कैसे ठीक करें

इस लेख में मैं Google search console में आनेवाले एरर (error message) के बारे में बात करूँगा। वैसे तो बोहत सारे एरर मैसेज आते है और सब के कारण भी अलग होते है। पर आज हम सिर्फ एक “Indexed but blocked by robots.txt” इसी के बारे में बात करेंगे। तो चलिए शुरू करते है।

तो चलिए, शुरू करते है।

Table of Contents

“Indexed but blocked by robots.txt” इसका क्या मतलब है?

indexed but blocked by robots.txt
indexed but blocked by robots.txt

अगर आपकी वेबसाइट या ब्लॉग पर यह प्रॉब्लम है तो आपको आपके Google Search Console में ऐसा मैसेज दिखेगा।

इसका मतलब यह होता है की गूगल के क्रॉलर्स (crawlers) को आपका url मिल चूका है, आपका url क्रॉल हो चूका है और गूगल में इंडेक्स भी हो गया है। भले ही फिर वो आपके वेबसाइट की robots.txt फाइल ने गूगल के क्रॉलर्स को यह निर्देश दिया था की इस url को index न करे।

नतीजा

इसका नतीजा यह होगा की ऐसे जितने भी url’s है उन सबकी गूगल सर्च रिजल्ट्स (Google search results) में रैंकिंग ऊपर आना लगभग असंभव है। और अगर रैंकिंग ऊपर नहीं है तो आपके उस url आर्गेनिक ट्रैफिक नहीं आएगा।

इसके साथ साथ आप इन url’s पर जो भी SEO पे मेहनत करोगे वो सब व्यर्थ ही जाएगी। जब तक आप इस एरर मैसेज को हल नहीं कर देते हो, तब तक आपको अपनी वेबसाइट के रैंकिंग में ज़्यादा फर्क नहीं दिखेगा।

अस्वीकरण:

जो भी बात मैं यहाँ पर लिख रहा हूँ, वो सिर्फ और सिर्फ अपने अनुभव से बता रहा हूँ। जो चीज़े मैंने सीखी है और करि है, सिर्फ और सिर्फ वही आपसे साझा करता हूँ। हो सकता है की आपको अन्य कोई ब्लॉग या फिर YouTube पे कोई वीडियो मिल जाये जिसकी राय मुझसे अलग हो, तो आपसे विनती है की थोड़ी और छानबीन करे और आपको जिसकी बात सही लगे, उसकी बात माने।

कौन से url’s को ठीक करना बेहद ज़रूरी है?

निजी तौर पे मेरा यह मानना है की आपको अपने वेबसाइट के सारे url’s को इस सूचि (list) से हटाने की पूरी कोशिश करनी चाहिए। इसके कुछ कारण मैंने निचे लिखे है।

  • सबसे पहला तो यह की इससे गूगल के अल्गोरिथम को यह संकेत मिलता है की आप अपनी वेबसाइट या ब्लॉग पर अच्छे से ध्यान देते हो। गूगल का अल्गोरिथम आपकी वेबसाइट की विश्वसनीयता पर संदेह नहीं करेगा। इससे आपके अन्य url’s के रैंक होने गई सम्भावना और भी ज़्यादा बढ़ जाती है। और एक बात जो साबित होती है की आप न ही सिर्फ अपनी वेबसाइट के कंटेंट पर ध्यान देते हो, बल्कि अपनी वेबसाइट या ब्लॉग के वाचको के अनुभव (user experience) पर भी ध्यान देते हो। और एक बात हमेशा याद रखे की गूगल का क्रॉलर (google crawlers) भी आपके ब्लॉग के वाचक या यूजर है।
  • कई बार ऐसा होता है की कुछ url’s जो आपको इतने महत्त्वपूर्ण न लगे वो इस सूचि में हो। पर फिर भी मैं यह बोलूंगा की आपको यह करना चाहिए। क्योंकि इससे उस url की google search results में रैंकिंग बढ़ने की सम्भावना बोहत ही ज़्यादा बढ़ जाती है। इससे आपकी पूरी की पूरी वेबसाइट को फायदा ही होगा, भले ही थोड़ा सा क्यों न हो।

मेरे ब्लॉग का उदाहरण

ऊपर मैंने जो छवि (image) लगायी हुयी है, वो मेरे ही ब्लॉग के बारे मैं है। यह screenshot मैंने अपने google search console के डैशबोर्ड से लिया है।

अगर आप ऊपर वाली image में देखोगे तो उसमे २० url’s बताये गए है और वो सारे के सारे केटेगरी के url’s है। अगर आपका ब्लॉग blogger पे बना हुआ है, तो आपको भी केटेगरी की जगह लेबल (label) लिखे हुए मिलेंगे। इसको आप निचे दी गयी छवि (image) में देख सकते है।

url's in indexed but blocked by robots.txt file
url’s in indexed but blocked by robots.txt file

क्या मैं इसे ठीक करूँगा?

जी नहीं।

तकनिकी तौर पे मेरे इस ब्लॉग के लिए यह बेहद ज़रूरी नहीं है। क्यूंकि यह सारे के सारे categories के url’s है और इससे मेरे ब्लॉग की रैंकिंग पर ज़्यादा फर्क नहीं होगा। और ना ही मेरे ट्रैफिक पे कोई फर्क पड़ेगा। निचे मैंने अपने google analytics के dashboard का screenshot लगाया है।

Google analytics traffic data
Google analytics traffic data

क्या नए ब्लॉग पे इसे ठीक करना ज़रूरी है

अगर आपका ब्लॉग नया है या फिर आपके ब्लॉग पे ट्रैफिक नहीं आ रहा है तो आपका इन चीज़ो पे ध्यान देना बेहद ज़रूरी है। ऐसा करने से आपकी रैंकिंग और ट्रैफिक बढ़ने की संभावना बोहत ही ज़्यादा बढ़ जाती है। क्यूंकि ऐसा करने से google के algorithm को यह लगता है की आप अपने ब्लॉग को नियमित तौर पर जांच करते हो और उसे अपडेट भी करते हो।

इस समस्या का समाधान कैसे करे?

इसे ठीक करने के लिए आपको अपने ब्लॉग या वेबसाइट की ‘robots.txt’ file को एडिट (edit) करना होगा।

वर्डप्रेस का पहला सेटिंग (The first setting for wordpress)

‘robots.txt’ file को edit करे उससे पहले आप अपने वर्डप्रेस की यह वाली सेटिंग ज़रूर चेक करले। जो बॉक्स इमेज में दिख रहा है उसपे टिक (tick) नहीं लगा होना चाहिए।

इसके लिए आपको अपने wordpress के dashboard पे login करना होगा। फिर साइडबार (स्क्रीन की बाईं तरफ) में आपको ‘settings’ पे जाना है। उसमे तीसरा ऑप्शन है ‘reading’ का, उसपे आपको क्लिक करना है।

Wordpress settings for indexing issues
WordPress settings for indexing issues

वर्डप्रेस (wordpress) में ‘robots.txt’ फाइल को कैसे एडिट करे?

अगर आपने अपने ब्लॉग को वर्डप्रेस पे बनाया है, तो ‘robots.txt’ फाइल को एडिट करनेके २ तरीके है।

  • आप c-panel में जाके सीधा ही robots.txt एडिट कर सकते हो
  • SEO plugins के द्वारा आप robots.txt फाइल को एडिट कर सकते हो

robots.txt फाइल नहीं है तो क्या करे?

अगर आपके server में robots.txt file नहीं है, तो आप एक नया फाइल बना सकते है। इसके लिए आप कोई भी text editor का इस्तेमाल करे और एक नया फाइल बना ले। फिर उसको आप ‘robots.txt’ नाम देके save कर लीजिये। फिर उसी फाइल को आप अपन वेबसाइट की root directory में अपलोड कर दीजिये।

c-panel में जाके सीधा ही robots.txt एडिट करे

सबसे पहले आप अपनी वेबसाइट के ‘cpanel’ में login करले। अगर आपकी वेबसाइट का domain ‘www.example.com’ है, तो ‘cpanel’ का url होगा ‘www.example.com/cpanel‘. उसके बाद आप ‘file manager’ में जाए। आपको ‘robots.txt’ file अपनी वेबसाइट की ‘root directory’ में मिल जायेगा।

अगर आप कोई SEO plugins का इस्तेमाल करते हो, तो हो सकता है की यह फाइल seo plugin के अंदर हो। उदाहरण के तौर पर मैंने Rank Math के बारे में बताया है।

  • file manager > public_html > wp-content > plugins > seo-by-rank-math > includes > modules > robots-txt > class-robots-txt.php

SEO plugins के द्वारा robots.txt एडिट करे

Rank Math Plugin

Rank Math plugin का इस्तेमाल करके robots.txt file को एडिट करने के लिए आपको Rank Math Pro पर अपग्रेड करना पड़ेगा (अगर आप फ्री वाला वर्शन इस्तेमाल कर रहे हो तो)। उसके बाद आप बाईं साइडबार में Rank Math > Dashboard पर क्लिक करे। फिर आपको ऊपरी दायां किनारे पर ‘Advanced mode’ पर क्लिक करे। उसके बाद आप बाईं साइडबार में Rank Math > General settings > Edit robots.txt पर क्लिक करे। अगर आपको समाज नहीं आ रहा है तो निचे दिए गए दोनों images को देखे।

Easy mode vs Advanced mode Rank Math Pro
Easy mode vs Advanced mode Rank Math Pro
edit robots.txt in Rank Math
edit robots.txt in Rank Math
क्या करे अगर आपको Rank Math ‘robots.txt’ फाइल को एडिट न करने दे?
  • मान लीजिये की आप ऊपर बताये सभी स्टेप्स को अच्छे से करते हो और जैसे ही आप Rank Math > General settings > Edit robots.txt पर क्लिक करते हो तो आपको ‘robots.txt file is not writable’ ऐसा मैसेज दिखाई दे, तो क्या करोगे?
Message about editing robots.txt in rank math
Message about editing robots.txt in rank math
  • अगर आपको ऐसा मैसेज दिखाई दे, तो घबराये नहीं। आपको एक और छोटा सा काम करना है। अपनी वेबसाइट के ‘cpanel‘ में login करले। उसमे ‘file manager‘ पे डबल क्लिक करे और दाईं तरफ में आपको ‘wp-config.php‘ मिल जाएगी।
  • ‘wp-config.php’ file में ‘DISALLOW_FILE_EDIT’ को आपको ‘true‘ की जगह पे ‘false‘ लिखना है। आप निचे वाली इमेज में देख सकते है।
wp-config.php file info
wp-config.php file info

Yoast SEO Plugin

मैं Yoast SEO plugin को इस्तेमाल नहीं करता हूँ। तो इसके बारे में मैंने दूसरे वेबसाइट से आपको बता रहा हूँ। उस वेबसाइट का लीन भी मैं निचे दे दूंगा। ताकि आप उस आर्टिकल को भी पढ़ सको।

Yoast SEO plugin से robots.txt file को एडिट करने के लिए आप वर्डप्रेस के डैशबोर्ड (www.example.com/wp-admin) में लॉगिन कर लीजिये। उसके बाद आपको साइडबार में ‘Yoast SEO plugin’ पर क्लिक करे।

Path : Yoast SEO plugin > tools > file editor

References: Contentkingapp.com, Yoast.com

Robots.txt file का नया कोड कैसे लिखे? (wordpress ke liye)

‘Indexed but blocked by robots.txt’ का प्रॉब्लम सलूशन है robots.txt फाइल में आपको नया कोड लिखना होगा।

सबसे पहले आपको ‘robots.txt tester’ टाइप करके google search करना है। Link to robots.txt tester

यह टूल गूगल का ही है और आपको इसके लिए कोई भी पैसा किसीको भी देने की ज़रुरत नहीं है।

जब आप ये टूल पे आओगे तो आपको सबसे पहले अपने अकाउंट में जाके अपनी वेबसाइट या ब्लॉग को सेलेक्ट करना है। उसके बाद स्क्रीन के नीचे दाईं ओर में ‘test’ बटन दिया होगा, उसपे आपको क्लिक करना होगा। जहा पर भी आपको कोड में red highlight होगा वह पर आपको disallow को allow मैं बदलना होगा।

“Indexed but blocked by robots.txt” को blogger में कैसे ठीक करे?

  • सबसे पहले आप blogger में लॉगिन कर लीजिये। उसके बाद आप उसके ‘settings’ पे क्लिक करेंगे। उसके बाद जैसे निचे वाली इमेज में दिखाया गया है, वैसी ही आपको ‘Enable custom robots.txt’ और ‘Enable custom robots header tags’ के बटन को आपको बदलना है। जैसे इमेज में दिखाया गया है, वैसे आपको करना है।
blogger settings
blogger settings
  • Home page tags, archive and search page tags, post and page tags: अब इन तीनो को निचे दिखाई गयी images में जितने options को बदला है वैसे ही सारे options को बदलना है।
Home page tags
Home page tags
Archive and search pages
Archive and search pages
posts and pages
posts and pages
  • इसके बाद आप custom robots.txt पर क्लिक करे और निचे बताई गयी कोड को पेस्ट करले।

User-agent: *
Disallow: /search
Disallow: /category/
Disallow: /label/
Disallow: /tag/
Allow: /

Code for robots.txt file

यह सब करने के बाद अपने google search console में जाके ‘validate fix’ पर क्लिक कर दीजिये।

यहाँ पर अपने इस लेख Indexed but blocked by robots.txt का समापन होता है। उम्मीद करता हूँ की आपको यह लेख अच्छा लगा होगा। अगर आपके पास मेरे लिए कोई सुझाव है तो निचे टिप्पणियों में ज़रूर बताये। मैंने अपने इससे पहले वाले आर्टिकल में ट्रैफिक कैसे बढ़ाये के बारे में लिखा है। उसे भी ज़रूर पढ़े।

धन्यवाद।

Spread the love

Leave a Comment