Robots.txt Kya Hai | Robots.txt File in Hindi

Robots.txt Kya Hai? Robots.txt फ़ाइल में सर्च इंजन के लिए निर्देश होते हैं जो उन्हें बताते हैं कि वे किसी वैबसाइट में किन वेबपेजों तक पहुंच सकते हैं और कौन से नहीं। किसी भी वेबसाइट में अलग-अलग तरह के वेबपेज होते हैं। लेकिन ये जरूरी नहीं कि सभी सर्च इंजन द्वारा खोजें जाएँ।

Google जैसे सर्च इंजन के वेब क्रॉलर के लिए robots.txt फ़ाइलें बहुत उपयोगी होती हैं और आपकी वेबसाइट के SEO में भी ये फायदा पहुँचाती हैं। इस आर्टिक्ल में Robots.txt File Kya Hai और आपकी वेबसाइट पर robots.txt का उपयोग करने के सभी तरीकों के बारे में पूरी जानकारी दी गई है। 

आप इस आर्टिक्ल में हिन्दी में यह भी जानेंगे कि Robots.txt फ़ाइल कैसे बनाए और वो महत्वपूर्ण क्यों होती हैं। लेकिन सबसे पहले आइए जानते हैं कि Robots.txt file क्या है।

Robots.txt Kya Hai

किसी वैबसाइट में Robots.txt फ़ाइल सर्च इंजन Crawlers को यह बताती है कि आपकी साइट पर किन URL या वेबपेजों को ये क्रॉलर Access कर सकते हैं। ये सर्च इंजन बॉट्स के लिए दिशा-निर्देश होते हैं। यह फ़ाइल अधिकांश वेबसाइटों की source फ़ाइलों में शामिल होती हैं। 

ये “Robots Exclusion Protocol” का हिस्सा है और इसकी शुरुआत 1994 में सर्च इंजन डेवलपर्स के बीच आम सहमति से हुई थी। हालांकि Robots.txt फ़ाइल किसी वेबपेज को गूगल की इंडेक्सिंग से बाहर रखने का तरीका नहीं है। यह तो बस आपकी साइट पर Crawl  Requests की ओवरलोडिंग को रोकता है।

Robots.txt फ़ाइलें ज्यादातर वेब क्रॉलर जैसे बॉट्स की गतिविधियों को नियंत्रित करने के लिए होती हैं।

इसका मतलब यह है कि जब गूगल और बिंग जैसे सर्च इंजन आपकी वैबसाइट के Pages को crawl करने के लिए अपने Crawlers भेजते हैं तो उन्हे Robots.txt फ़ाइल के जरिये ही पता चलता है कि किन Webpages को वरीयता से Crawl करना है और किन को बिलकुल छोड़ देना है। 

यानि कि Robots.txt टेक्स्ट फ़ाइल के निर्देशों के आधार पर ही सर्च इंजन रोबोट या बॉट्स निर्धारित करते हैं कि किसी वेबसाइट पर वेबपेज कैसे क्रॉल करना है। 

इस वेबसाइट की Robots.txt File ऐसी है:

Rrobots.txt फ़ाइल का उपयोग क्यों किया जाता है

वेबसाइट में robots.txt फ़ाइल का उपयोग मुख्य रूप से आपकी साइट पर क्रॉलर ट्रैफ़िक को Manage करने के लिए किया जाता है। इसका इस्तेमाल किसी फ़ाइल को गूगल द्वारा crawl नहीं करने के लिए भी किया जा सकता है। 

• Robots.txt फ़ाइल आपकी साइट पर अनावश्यक, महत्वहीन या एक-जैसे वेबपेजों को क्रॉल करने से बचने के लिए भी इस्तेमाल किया जाता है। 

• जैसा कि हम पहले बता चुके हैं कि robots.txt फ़ाइल सर्च इंजनों को बताती है कि किन URL को एक्सेस करना है और किन को नहीं करना है। इनकी मदद से वेब-क्रॉलिंग सॉफ़्टवेयर या user agents को Crawling से संबन्धित निर्देश दिये जाते हैं। 

• यहाँ ध्यान रखना चाहिए कि अगर आपका कोई वेबपेज robots.txt फ़ाइल से ब्लॉक है, तो भी उसका URL गूगल के सर्च रिजल्ट्स या खोज परिणामों में दिखाई दे सकता है।  लेकिन robots.txt फ़ाइल से ब्लॉक किए गए वेबपेजों का सर्च रिजल्ट्स में कोई Description या विवरण नहीं आयेगा। 

• आप ऊपर दिये गए प्रयोगों के अलावा इमेज, वीडियो और ऑडियो फ़ाइलों को Google सर्च रिजल्ट्स में प्रदर्शित होने से रोकने के लिए भी robots.txt फ़ाइल का इस्तेमाल कर सकते हैं। 

यदि आपकी वैबसाइट में कोई robots.txt फ़ाइल मौजूद नहीं है या अगर इस बारे में कोई निर्देश नहीं दिया गया है, तो सर्च इंजन आपकी पूरी वेबसाइट को क्रॉल करेंगे।

Robots.txt फ़ाइल क्या है हिन्दी में जानने के बाद आइए जानते हैं कि ये Robots.txt फ़ाइल कैसे काम करती है।

Robots.txt फ़ाइल Kaise Check करें

इंटरनेट पर किसी साइट के robots.txt फ़ाइल को देखने या चेक बहुत आसान है। किसी भी वेबसाइट के robots.txt फ़ाइल को देखने या चेक करने के लिए होमपेज पूरे URL को टाइप करके उसमें /robots.txt जोड़कर देखा जा सकता है। 

उदाहरण के लिए हमारी वेबसाइट के Robots.txt फ़ाइल को देखने या चेक करने के लिए आप https://www.onlinepaisakaisekamaye.com/robots.txt टाइप कर के इसे देख सकते हैं। 

अगर आप नहीं जानते कि आपकी वैबसाइट में robots.txt फ़ाइल है कि नहीं तो आप नीचे दी गई प्रक्रिया से इसे चेक कर सकते हैं। 

Robots.txt फ़ाइल Check करने का Step by Step Process:

STEP 1:

सबसे पहले अपना वेब ब्राउज़र खोलें। इसके लिए आप Google Chrome, Microsoft Edge, सफारी या Mozilla जैसे वेब ब्राउज़र का इस्तेमाल कर सकते हैं। 

फिर अपनी वैबसाइट का URL (Homepage का URL) अपने वेब ब्राउज़र के सर्च बार में टाइप करें (e.g., https://onlinepaisakaisekamaye.com)

STEP 2:

वेब ब्राउज़र के सर्च बार में वेबसाइट के URL के अंत में /robots.txt जोड़ें और enter कर दें। 

उदाहरण के लिए हमारी वैबसाइट में इसे ऐसे जोड़ा गया है:

ब्राउज़र में टाइप कर के सर्च करने के बाद ऊपर इमेज में दिये गए Robots.txt फ़ाइल की तरह आपकी वेबसाइट का Robots.txt फ़ाइल दिख जाएगा। 

Robots.txt File कैसे काम करती है

वेबसाइट में Robots.txt फ़ाइल कैसे काम करती है यह समझने के लिए पहले आपको यह जानना होगा कि सर्च इंजन कैसे किसी वेबसाइट को Crawl और इंडेक्स करते हैं। 

इंटरनेट पर पब्लिश होने वाली साइटों को क्रॉल करने के लिए सर्च इंजन एक साइट से दूसरी साइट पर जाते हैं और इसके लिए वे लिंक (Links) को Follow करते हैं। इस प्रक्रिया में वे अरबों लिंक और वेबसाइटों पर जाते हैं। यह आम भाषा में “spidering” के नाम से जाना जाता है। 

लेकिन किसी वेबसाइट पर पहुंचने के बाद Search Engine Spiders उस वेबसाइट को सीधे Crawl नहीं करते। पहले ये सर्च क्रॉलर robots.txt फ़ाइल की तलाश करते हैं। 

आपकी वेबसाइट पर कंटैंट पब्लिश होने के बाद सर्च इंजन उसे Crawl करने के लिए आते हैं। लेकिन सबसे पहले आपकी साइट के Robots.txt फ़ाइल को ही चेक किया जाता है। 

• Robots.txt ही वो जानकारी होती है जिसे किसी वेबसाइट पर जाने पर सर्च इंजन बॉट द्वारा सबसे पहले एक्सेस किया जाता है। 

• गूगल और बिंग जैसे सर्च इंजन नियमित रूप से वेबसाइट की robots.txt फ़ाइल को चेक करते हैं ताकि वेबसाइट को क्रॉल करने के लिए निर्देश को जान सकें। इन निर्देशों को “directives” कहा जाता है। चूंकि robots.txt फ़ाइल में इस बारे में जानकारी होती है कि सर्च इंजन Bots को कैसे क्रॉल करना चाहिए, वे इस जानकारी के आधार पर ही साइट पर आगे क्रॉलर कार्रवाई को शुरू करते हैं। 

• Robots.txt फ़ाइल में सर्च इंजन को user-agent कहा जाता है। अगर robots.txt फ़ाइल में ऐसा कोई निर्देश नहीं है जो यूसर-एजेंट की crawl करने से मना करता है (या अगर किसी वेबसाइट में robots.txt फ़ाइल ही नहीं है), तो वो साइट पर दूसरी जानकारी और वेबपेजों को क्रॉल करने का काम शुरू कर देगा। 

• एक robots.txt फ़ाइल सिर्फ एक टेक्स्ट फ़ाइल होती है इसलिए इसमें  .txt extension का इस्तेमाल होता है। इसमें कोई HTML मार्कअप कोड नहीं होता है। 

यहाँ ध्यान देने की बात है कि robots.txt फ़ाइल आपकी साइट पर कहीं और से लिंक नहीं होती इसलिए इसे आपकी वैबसाइट पर आने वाले Users नहीं देख पाते। उसे देखने के लिए आपको उसे अलग से एक्सैस करना पड़ता है। 

Robots.txt फ़ाइल के काम करने में ये बातें होती है:

1. आपकी वेबसाइट की robots.txt फ़ाइल सार्वजनिक रूप (Publicly) से उपलब्ध होती है यानि कि इसे कोई भी देख सकता है। इसका मतलब यह है कि कोई भी यह जान सकता है कि आप कौन से वेब पेज क्रॉल करवाना चाहते हैं और कौन से क्रॉल नहीं करना चाहते हैं। इसलिए अपनी कोई निजी जानकारी छिपाने के लिए Robots.txt फ़ाइल का उपयोग न करें।

2. robots.txt फ़ाइल सर्च इंजन बॉट्स के लिए निर्देश होते है, लेकिन वे इन निर्देशों को लागू नहीं कर सकते। 

3. वेब क्रॉलर या न्यूज फीड बॉट जैसे Good Bots किसी वेबसाइट पर किसी भी पेज को देखने से पहले पहले robots.txt फ़ाइल को पड़कर समझने का प्रयास करते हैं। वे इन Directives का पालन भी करते हैं। 

4. एक Bad Bot या तो robots.txt फ़ाइल को अनदेखा कर देता है या जिन वेबपेजों को Disallow किया गया है उन्हे खोजने के लिए इसे Process भी करते हैं। 

5. आपकी वेबसाइट में अगर सबडोमैन (subdomains) हैं तो सभी के लिए अलग-अलग robots.txt फ़ाइल की आवश्यकता होती है।

6. किसी भी साइट में आमतौर पर डोमेन से जुड़े सभी साइटमैप robots.txt फ़ाइल के नीचे रखे जाते हैं।

Rrobots.txt फ़ाइल क्यों महत्वपूर्ण है

आपकी वेबसाइट छोटी हो या बड़ी एक robots.txt फाइल का होना जरूरी माना जाता है। किसी भी सर्च इंजन के Resources सीमित होते हैं। ऐसे में Robots.txt फ़ाइल सर्च इंजन के crawl budget को अनावश्यक वेबपेजों को crawl करने में बर्बाद होने से रोकते हैं। 

ये आपको आपकी वेबसाइट पर सर्च इंजन Spiders या Bots के मूवमेंट पर अधिक नियंत्रण देता है। आपके Robots.txt फ़ाइल में एक गलत disallow instruction से Googlebot आपकी पूरी वेबसाइट को क्रॉल कर सकता है। यानि ये वेबसाइट के SEO को बना या बिगाड़ सकता है। 

हालांकि वैबसाइट में Robots.txt फ़ाइल के महत्वपूर्ण उपयोग होते हैं जो यहाँ दिये गए हैं:

1. Non-Public Pages को Block करने के लिए Robots.txt फ़ाइल बहुत महत्वपूर्ण होती है। उदाहरण के लिए login Page सभी के लिए नहीं होता। इसे crawl करने से रोका जा सकता है। 

2. Robots.txt फ़ाइल आपकी वेबसाइट पर अनावश्यक फ़ाइलों (e.g., images, video, PDFs) के Indexing को रोकती है।

3. इससे वेब सर्वर ओवरलोड रुकता है।

4. ये सर्च इंजन के क्रॉल बजट को बर्बाद होने से रोकती है।

5. वेबसाइट में duplicate content को क्रॉल करने से रोकती है। इससे SERPs में Duplicate content appear नहीं हो पाता। 

6. वेबसाइट में Robots.txt फ़ाइल के इस्तेमाल से आंतरिक खोज परिणाम पृष्ठों (internal search results pages) के लिए क्रॉलिंग को रोका जा सकता है।

7. इसके इस्तेमाल से आप अपनी वेबसाइट के उन Sections या भागों को Private रख सकते हैं जो आप नहीं चाहते की सर्च इंजन द्वारा इंडेक्स या Crawl हों। ये वैबसाइट में मौजूद किसी संवेदनशील जानकारी को Exposed होने या उजागर होने से भी रोकता है। 

वैसे आपकी जानकारी के लिए बता दें कि कई वेबसाइटों को robots.txt फ़ाइल की आवश्यकता नहीं होती है क्योंकि Google अपने आप उन वेबपृष्ठों को Index नहीं करता जो महत्वपूर्ण नहीं हैं या दूसरे वेबपेजों के डुप्लिकेट version हैं।

Google आम तौर पर सिर्फ उन्ही वेबपेजों को ढूंढ कर Index करता है जो महत्वपूर्ण होते हैं। 

How to Create robots.txt File in Hindi (Robots.txt File Kaise Banaye)

चूंकि ये फ़ाइल एक प्रकार की text file होती है इसलिए robots.txt फ़ाइल बनाने के लिए आप लगभग किसी भी टेक्स्ट एडिटर जैसे कि Notepad, TextEdit, vi, और emacs का उपयोग कर सकते हैं। 

Robots.txt फ़ाइल बनाने के लिए किसी word processor का इस्तेमाल नहीं करना चाहिए क्योंकि ये फ़ाइल को टेक्स्ट के बदले Word फ़ारमैट में Save कर देते हैं। 

इस बात का ध्यान रखें कि notepad में इस फाइल को save करते वक्त फ़ाइल का नाम robots.txt होना चाहिए और आपकी साइट में केवल एक robots.txt फ़ाइल हो सकती है। हालांकि अलग-अलग subdomains के लिए अलग फ़ाइल हो सकती हैं। 

इस बात का भी ध्यान रखें कि robots.txt फ़ाइल वेबसाइट होस्ट के Root में स्थित होनी चाहिए। 

अपने Text editor में सही syntax का इस्तेमाल करते हुए Directives लिख लें। Notepad कुछ ऐसा दिखेगा। 

अब robots.txt फ़ाइल बनाने के बाद उसे अपलोड करने के लिए कोई एक टूल नहीं होता है जिसकी सहायता से आप सभी होस्टिंग प्लैटफ़ार्म पर उस फ़ाइल को अपलोड कर सकें। 

इसलिए आप अपनी साइट पर robots.txt फ़ाइल कैसे अपलोड करते हैं यह आपकी साइट और सर्वर आर्किटेक्चर पर निर्भर करता है। Robots.txt फ़ाइल install करने के कुछ तरीके ये हैं:

cPanel के साथ Robots.txt इंस्टाल करे

• अपने cPanel के File Manager सेक्शन में जाएँ और main site directory पर क्लिक करें। फिर public_html के अंदर “Upload” बटन पर क्लिक करें और अपनी कम्प्युटर में सेव की हुई robots.txt फ़ाइल अपलोड करें। 

• आप चाहें तो File Manager सेक्शन में “New File” button पर क्लिक कर के नयी robots.txt file टाइप कर के बना सकते हैं। 

बस आपका काम हो गया robots.txt file आपके साइट के root directory में save हो चुकी है अब आप अपने वेबसाइट के URL के बाद https://example.com/robots.txt लगाकर चेक कर सकते है।

Yoast SEO Plugin या All in One SEO Pack से Robots.txt को आप Edit करे

• अगर आप WordPress इस्तेमाल करते हैं तो ये उपाय आपके लिए है। सबसे पहले अपनी वर्डप्रेस वेबसाइट में लॉग इन करें। फिर अपने ‘Dashboard’ में जाएँ।
• अगर आप Yoast SEO use करते है तो Click on ‘SEO’ 

• SEO में आपको कई विकल्प मिलेंगें। उसमें से आप ‘Tools’ पर क्लिक कर के जाएँ। 
• वहाँ से फिर File editor में जाएँ।
• Robots.txt फ़ाइल में जो भी लिखना चाहें लिख लें और फिर Save कर दें। 

वेबसाइट में Robots.txt फ़ाइल कहाँ होती है

किसी भी वेबसाइट में Robots.txt फ़ाइल उस साइट के Domain के Root में होती है। इसक मतलब है कि अगर आपका डोमेन www.example.com है, तो उसे https://www.example.com/robots.txt पर होना चाहिए। 

यहाँ ध्यान रखें कि इस फ़ाइल में अक्षर  case sensitive होते हैं। सर्च इंजन के web-crawling robots आपकी साइट में सिर्फ एक जगह ही Robots.txt फ़ाइल ढूंढते हैं और वो जगह है आपकी साइट की Main Directory जिसे Homepage URL भी कहा जाता है। 

अगर सर्च इंजन Bots या user agent www.example.com/robots.txt पर यह फ़ाइल नहीं पाते तो वो मान लेते हैं कि इस साइट में कोई भी Robots.txt फ़ाइल नहीं है। ऐसे में user agent आपकी वैबसाइट के पूरे कंटैंट को ही Crawl और Index करने लगते हैं। 

इसलिए यह सुनिश्चित करने के लिए कि आपकी वैबसाइट की Robots.txt फ़ाइल सर्च इंजन को मिल जाए उसे हमेशा main directory या root domain में ही रखें।

अगर वेबपेज में कुछ नहीं दिखाई देता और खाली जगह दिखती है तो आपकी वेबसाइट में Robots.txt फ़ाइल नहीं है। ऐसी स्थिति में आपको अपनी साइट के लिए इस आर्टिक्ल में दिये गए तरीकों से Robots.txt फ़ाइल बनानी होगी। 

Robots.txt फ़ाइल में कौन से प्रोटोकॉल(Syntax ) इस्तेमाल किए जाते हैं? 

Robots.txt फ़ाइल के लिए जो प्रोटोकॉल इस्तेमाल होता है वो Robots Exclusion Protocol है। इसके अलावा robots.txt फ़ाइलों के लिए इस्तेमाल किया जाने वाला दूसरा प्रोटोकॉल साइटमैप प्रोटोकॉल है। साइटमैप प्रोटोकॉल को robots inclusion protocol भी कहा जाता है। 

इन प्रोटोकॉल के निर्देश robots.txt फ़ाइल में शामिल होते हैं।

कोई भी robots.txt फ़ाइल user-agent लाइन से शुरू होता है जिसमें निर्देशों के एक या अधिक ब्लॉक होते हैं। यहाँ user-agent का मतलब सर्च इंजन के उन Spiders या Crawl Bots से होता है जो वैबसाइट को इंडेक्स करते हैं। 

robots.txt फ़ाइल में इस्तेमाल होने वाले syntax और प्रोटोकॉल को नीचे दिये गए उदाहरण से बेहतर ढंग से समझा जा सकता है:

किसी WordPress website के लिए एक साधारण robots.txt फ़ाइल कुछ ऐसी दिखती है:

ऊपर दिये गए उदाहरण के आधार पर आइए Robots.txt फ़ाइल के syntax और प्रोटोकॉल को समझते हैं।

• User-agent: यहाँ user-agent का मतलब है कि दिये गए निर्देश किन सर्च इंजन के लिए हैं। दूसरे शब्दों में कहें तो user-agent वो specific web crawler होते हैं जिन्हे crawl instructions या निर्देश दिये जा रहे होते हैं। ये Google या Bing जैसा कोई भी सर्च इंजन हो सकता है।

• Disallow: यह directive बताता है कि सर्च इंजन के लिए कौन सा Content Accessible नहीं है। Disallow कमांड किसी विशेष URL को क्रॉल न करने के लिए इस्तेमाल किया जाता है।

• *: यह बताता है कि ये निर्देश सभी सर्च इंजनों के लिए हैं।

• /wp-admin/: यह वो Content है जो user-agent के लिए inaccessible है और उन्हे इसे Crawl नहीं करना है। 

• Allow: allow directive किसी भी साइट की Robots.txt फ़ाइल में disallow के ठीक उल्टे काम करती है। इससे पता चलता है कि आपके वेबपेज में कौन सा Content या Path सर्च इंजिन के लिए accessible या allow है। 

उदाहरण:

ऊपर दिये गए उदाहरण में सभी सर्च इंजनों को /media/ directory तक पहुँचने की अनुमति नहीं है। यानि वे इसे access नहीं कर सकते। लेकिन इसमें /media/terms-and-conditions.pdf के access को allow किया गया है। यानि वे यहाँ तक पहुँच सकते हैं। 

Robots.txt फ़ाइल में user-agent:

Robots.txt फ़ाइल में हर सर्च इंजिन के लिए अक अलग user-agent नाम होता है। उदाहरण के लिए Google के Crawl रोबोट Googlebot user-agent के नाम से जाने जाते हैं। 

ठीक ऐसे ही Microsoft के Bing के रोबोट BingBot के नाम से जाने जाते हैं। कुछ प्रचलित user-agent ये हैं:

Google:

• Googlebot
• Googlebot-Image (for images)
• Googlebot-News (for news)
• Googlebot-Video (for video)

Bing

• Bingbot
• MSNBot-Media (for images and video)

Baidu

• Baiduspider

Robots.txt फ़ाइल में दो user-agent के बीच में जो भी Directives होते हैं वो सिर्फ पहले वाले user-agent के लिए माने जाते हैं। 

दिशा निर्देश या Directives किसी एक user-agent के लिए हो सकते हैं या सभी user-agents के लिए भी हो सकते हैं। जब ये सभी user-agents के लिए होते हैं तो उसे wildcard से दर्शाया जाता है: User-agent: *

User-agent का एक उदाहरण और देखिये:

पहले उदाहरण में अगर आप इस robots फ़ाइल का इस्तेमाल करते हैं तो वो सभी सर्च इंजनों को आपकी वेबसाइट Crawl करने से रोक देगा। 

यहाँ * का मतलब सभी सर्च इंजिन से होता है। अब अगर सभी सर्च इंजनों को आपकी पूरी वेबसाइट को क्रॉल करने की अनुमति देनी हो तो robots.txt फ़ाइल कुछ ऐसी होगी:

किसी सर्च इंजन को वेब पेज Crawl करने से कैसे रोकें

आप अपनी वेबसाइट में सर्च इंजिन को किसी वेबपेज को crawl करने से Robots.txt फ़ाइल का इस्तेमाल कर के रोक सकते हैं। 

इसके लिए आपको इस Directive का इस्तेमाल करना होगा:

यहाँ इस Robots.txt फ़ाइल में Google के Crawler को साइट पर मौजूद इमेज को crawl करने से रोका गया है। आप चाहे तो गूगल के बदले बिंग या दूसरे सर्च इंजिन या user-agent का नाम भी इस्तेमाल कर सकते हैं। 

अगर आप चाहते हैं कि सभी सर्च इंजिन आपकी वैबसाइट में मौजूद इमेज को Access ना कर पाएँ तो आपको नीचे दी हुई फ़ाइल का इस्तेमाल करना होगा:

ऊपर दी गई फ़ाइल में * के इस्तेमाल से सभी सर्च इंजन Crawlers के लिए Images की Access रोक दी गई है। इस तरह से आप चाहें तो Specific webpages के लिए Robots.txt फ़ाइल बना कर उन्हे सर्च इंजिन द्वारा Crawl होने से रोक सकते हैं। 

अपनी robots.txt फ़ाइल में अपना साइटमैप कैसे जोड़ें

Robots.txt फ़ाइल में Sitemap जोड़ने के लिए आपके पास अपने वेब सर्वर तक Access होनी चाहिए। ये वहीं होता है जहां आपकी साइट का main “index.html” रहता है। हालांकि इन फ़ाइलों का स्थान इस बात पर निर्भर करता है कि आपके किस प्रकार का वेब सर्वर सॉफ़्टवेयर इस्तेमाल करते हैं।

इसका पता लगाने के लिए अपने FTP cPanel को खोलें। आप फ़ाइल को अपनी public_html वेबसाइट Directive में पा सकते हैं।

अपनी Robots.txt फ़ाइल खोलकर उसमें अपनी साइट का साइटमैप जो xml फ़ारमैट में होता है जोड़ें। 

अब आपकी Robots.txt फ़ाइल साइटमैप Add करने के बाद ऐसी दिखेगी:

अगर आपकी साइट बड़ी है और उसमें एक से ज्यादा Sitemaps हैं तो आप एक साइटमैप के नीचे दूसरी लिने में अगला साइटमैप जोड़ सकते हैं:

एक sample देखें:

ऊपर दिये गए उदाहरण में सभी सर्च इंजन के लिए Specified Sitemaps Access करने की अनुमति दी गई है। ध्यान रखें कि साइटमैप वाले निर्देश को robots.txt फ़ाइल में कहीं भी रखा जा सकता है। 

Frequently Asked Questions:

Conclusion:

मुझे उम्मीद है कि आप robots.txt kya hai और वेबसाइट पर इसके काम करने के तरीके को समझ गए होंगे। एक बात याद रखें जब आप robots फ़ाइल बनाते हैं तो केवल robots.txt फ़ाइल नाम में save करे।