Website Security के लिए Bad Bots को Block कैसे करें?

 Website Security के लिए Bad Bots को Block कैसे करें?

आपको ये जानकर आश्चर्य होगा कि हमारी वेबसाइट और ब्लॉग पर humans visitors से ज्यादा robots visit करते हैं। ये bots अच्छे और बुरे दोनों होते हैं। Bad bots आपकी site के SEO को प्रभावित करते हैं। आज केइस आर्टिकल में हम इसी के बारे में बात करेंगे कि Bad bots का Website SEO पर क्या असर पड़ता है और इन्हें Block कैसे किया जा सकता है।

ये bad bots इतने खतरनाक होते हैं कि इनकी वजह से आपकी वेबसाइट की search ranking भी decrease हो जाती है। सिर्फ इतना ही नहीं यह कई प्रकार के आपकी वेबसाइटAffect करते हैं।

Bad Bots क्या है? What is Bad Bots in Hindi

एक Internet bot, एक सॉफ्टवेयर एप्लिकेशन है जो इंटरनेट परautomated tasks को चलाता है। इन्हें online bots, web robots, robot औरsimply bot भी कहते है।

सामान्य तौर पर, बॉट्स सरल और दोहराए जाने वाले काम करते हैं जो मानव के लिए मुश्किल और समय लेने वाले या फिर असंभव होते हैं। जैसे कि, वेब साइट्स को क्रॉल करना।

प्रत्येक खोज इंजन अपने search index को develop करने के लिए डेटा एकत्र करने के लिए बॉट का उपयोग करता है। लेकिन साथ ही हैकर्स भीmalicious के लिए bots का उपयोग करते हैं।

इसीलिए इन्हें मुख्यता: दो भागों में बांटा गया है,

·         Good or SEO bots

·         Bad or Malicious Bots

SEO bots या good bots वे हैं जो वेबसाइटों को सर्च इंजन में आने में मदद करते हैं और इंटरनेट पर साइटों की आवश्यक दृश्यता बनाने में फायदेमंद होते हैं।

Bad bots उन कार्यक्रमों का समूह है जो मुख्य रूप से हैकर्स या प्रतियोगियों द्वारा स्वचालित हमलों को शुरू करने के लिए डिज़ाइन किए गए होते हैं। खराब बॉट आपकी अनूठी सामग्री और जानकारी को चुराते हैं, साथ ही स्पैम को भी बढ़ावा देते हैं।

Bat Bots वेबसाइट SEO को कैसे प्रभावित करता है?

ऐसे कई तरीके हैं जिनसे बोट्स आपकी वेबसाइट एसईओ पर नकारात्मक प्रभाव डालते हैं। जिनमें से कुछ निम्न है,

1. Web Scraping

Scraper bots को विशेष रूप से सामग्री चोरी करने और फिर इसे अन्य वेबसाइटों पर डुप्लीकेट करने के लिए प्रोग्राम किया जाता है।

ये bots आपकी वेबसाइट के कंटेंट को चोरी करके duplicate content की समस्या खड़ी करते हैं, जिससे कि सर्च इंजन में आपकी वेबसाइट पेजेज की रैंकिंग खराब होती है।

2. Form Spamming

Form spam bots को एक वेबसाइट पर फर्जी लीड के साथ वेबसाइट को कम करने के लिए फार्म जमा करने के लिए बनाया जाता है।

ये bots वेबसाइट के लिए हजारों law-quality backlinks बनाने का अभ्यास करते हैं, इनकी वजह से आपकी वेबसाइट कोgoogle द्वारा blacklist भी किया जा सकता है।

3. Price Scraping

Price scrape bots आपकी वेबसाइट पर ग्राहक के दौरे और रूपांतरण को कम करके आपके व्यवसाय करने की कोशिश करते हैं।

इन bots को मूल्य स्क्रेपिंग और वेबसाइट से मूल्य निर्धारण डाटा चोरी करने के लिए बनाया जाता है। ये आपके प्रतियोगी को मूल्य निर्धारण बनाए रखने के लिए हैं।

4. Skewed Analytics

ये bots मुख्य वेबसाइट analytics को प्रभावित करने के लिए बनाए जाते हैं। इससे IT, Marketing, Analysis team को समस्या उत्पन्न होती है।

अधिकतर यह वोट्स बड़ी बिजनेस वेबसाइटों को प्रभावित करते हैं, जिनकी एनालिटिक्स रिपोर्ट को खराब करके यह उनके बिजनस को गलत मैट्रिक्स से गिराते हैं।

5. Automated Attacks

ये bots विभिन्न प्रकार के auto attacks करने के लिए बनाए जाते हैं। ये वेबसाइट ब्रांडो के लिए एक गंभीर वेब सुरक्षा जोखिम उत्पन्न करते हैं।

उनकी वजह से blogs का सर्च ट्रैफिक गिर जाता है और वेबसाइट को account takeover, credential stuffing and inventory exhaustion जैसी समस्या होती है।

Bad Bots का पता कैसे लगाएं?

Bad bots को identify करने के लिए आपको Cloudways जैसी होस्टिंग का इस्तेमाल करना होगा, जो monitoring service प्रदान कर दी हो।

साथ ही इसके अलावा आप Cloudflare जैसे CDN service कभी इस्तेमाल करते हैं, ये user agents, countries, paths etc. अन्य reports दिखाता है।

आपको इसके User Agent section मेंrobots का पता चल जाएगा आप उनमें से Bad bots का पता करके block कर सकते हैं।

या फिर आप गूगल में "bad bots list" सर्च करोगे तो आपकोpopular bad bots की list मिल जाएगी। लेकिन हमारी साइट पर कौन से bots attack कर रहे हैं इसके लिएanalysis वाला तरीका बेहतर है।

Bad Bots को Block कैसे करें?

अब तक आपको समझ आ गया होगा कि Bad bots किस तरह से आपकी वेबसाइट को प्रभावित करते हैं और इनके attacks से बचने के लिए आपको ब्लॉक करना होगा।

सामान्य तौर पर हम इसके लिए robots.txt का इस्तेमाल करते हैं। लेकिन इन्हेंblock करने के कई और भी तरीके हैं, जिनके बारे में मैं यहां विस्तार से बता रहा हूं।

1. Block bad bots via origin server

आप अपने web server के द्वारा bad bots को block कर सकते हैं। यहां मैं आपको Apache .htaccess औरNginx दोनों web server की method बता देता हूं।

Block bad bots via .htaccess:

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^.*(agent1|Cheesebot|Catall Spider).*$ [NC]

RewriteRule .* - [F,L]

या आप इस तरह BrowserMatchNoCase निर्देश का उपयोग भी कर सकते हैं,

BrowserMatchNoCase "agent1" bots

BrowserMatchNoCase "Cheesebot" bots

BrowserMatchNoCase "Catall Spider" bots

Order Allow,Deny

Allow from ALL

Deny from env=bots

Block bad bots via Nginx:

if ($http_user_agent ~ (agent1|Cheesebot|Catall Spider) ) {

return 403;

}

2. Block bad bots via robots.txt

Bad bots को block करने की ये सबसे सरल और आसान तरीका है। अधिकतर लोग इसी method का उपयोग करते हैं। इसके लिए आपको user-agent का इस्तेमाल करना है।

User-agent: bots name

Disallow: /

उदाहरण के लिए अगर आपको semrushbot को ब्लॉक करना है तो आप इस तरह सेcode का इस्तेमाल करोगे।

User-agent: semrushbot

Disallow: /

बिल्कुल इसी तरह आप बाकी अन्य bad bots को robots.txt के जरिएblock कर सकते हो।

3. Block bad bots via CDN

अगर आप Cloudflare, KeyCDN जैसेContent delivery network का इस्तेमाल करते हैं तो आप उनके जरिए भी Bad bots को block कर सकते हैं।

Cloudflare पर इसके लिए आपको निम्न मेंfirewall rule उपयोग करना होगा।

Cloudflare Firewall >> Firewall Rules पर जाएं औरCreate a Firewall rule बटन पर क्लिक करें और निम्न तरीके से rule create करें

·         Field: User Agent

·         Operator: contains

·         Value: bots name

इसके बाद action में block select करके setting save कर देनी है। उदाहरण के लिए अगर आपSemrushBot को ब्लॉक करना है तो आप bots name की जगहSemrushBot add करेंगे।

आप चाहे तो निम्न expression code का इस्तेमाल कर सकते हैं।

(http.user_agent contains "SemrushBot")

आने वाले समय में इसके बारे में अधिक विस्तार से बताऊंगा।

Finals Words::

इस तरीके से आप Bad Bots को Block कर सकते हैं और अपनी वेबसाइट के SEO ranking को bots की वजह से प्रभावित होने से बचा सकते हैं।

उम्मीद है आप कोई जानकारी पसंद आई हो, अगर आपको इस बारे में कुछ और जानना हो तो आप नीचे कमेंट सेक्शन में पूछ सकते हैं, आपकी हर संभव मदद की जाएगी।