مرورگرهای آفلاین که با نام‌های Offline Browser، Offline Reader و یا Offline Navigator نیز شناخته می‌شوند، نرم‌افزارهای کامپیوتری هستند که با دنبال کردن لینک‌های درون یک وبسایت، تمامی محتوای درون آن مانند E-mailها، خبرنامه‌ها، صفحات وب و تصاویر را Download می‌کنند. هدف اصلی انجام این کار آن است که بازدید کننده‌ی وبسایتتان بتواند پس از قطع اتصال از شبکه‌ی اینترنت خود نیز به اطلاعاتی که مرورگر آفلاین Download کرده است دستیابی داشته و اقدام به ادامه‌ی بازدید خود بدون نیاز به اینترنت نماید. انجام این عمل که اغلب بدون سوء قصد قبلی صورت می‌پذیرد، موجب می‌گردد تا ترافیک وبسایت مورد نظر تا حد بسیار زیادی مصرف گردد و ممکن است مدیر وبسایت هزینه‌های گزافی را بابت ترافیک مصرفی متقبل شود.
ربات‌های بد یا Bad Bots نیز همانطور که از اسمشان پیداست به بد افزارهایی گفته می‌شوند که با مراجعه به یک وبسایت، با هدف مصرف ترافیک، پایین آوردن سرعت سرور, دزدیدن مطالب و محتوا، یافتن حفره‌های امنیتی و همچنین جست‌وجوی آدرس ایمیل‌ها از آن بازدید می‌کنند؛ لذا یکی از دلایل عمده که آدرس ایمیل‌ها در فهرست Spam Databases قرار می‌گیرد به کارگیری این ربات‌ها توسط آنها می‌باشد.
این ربات‌ها اغلب قوانین تعریف شده و کدهای موجود در فایل ‘robot.txt’ را نادیده می‌گیرند.
در ادامه راه حلی جهت مسدود کردن مرورگرهای آفلاین و ربات‌های بد معروف و رایج ارائه شده است.
جهت انجام این‌کار کافی است چنانچه فایل htaccess. در فضای سرویس میزبانی شما وجود ندارد ابتدا اقدام به ایجاد آن نمایید. سپس کد زیر را درون آن قرار دهید:
ErrorDocument 403 /403.html
RewriteEngine On
RewriteBase /
# IF THE UA STARTS WITH THESE
RewriteCond %{HTTP_USER_AGENT} ^(aesop_com_spiderman|alexibot|backweb|bandit|batchftp|bigfoot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(black.?hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cosmos|crescent|curl|custo|da|diibot|disco|dittospyder|dragonfly) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mata.?hari|memo|microsoft.?url|midown.?tool|miixpc|mirror|missigua) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mister.?pix|moget|mozilla.?newt|nameprotect|navroad|backdoorbot|nearsite) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(offline.?navigator|openfind|outfoxbot|pagegrabber|papa|pavuk) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(telesoft|the.?intraformant|thenomad|tighttwatbot|titan|urldispatcher) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(turingos|turnitinbot|urly.?warning|vacuum|vci|voideye|whacker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse) [NC,OR]
# STARTS WITH WEB
RewriteCond %{HTTP_USER_AGENT} ^web(zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|reaper|sauger|site.?quester|whack) [NC,OR]
# ANYWHERE IN UA -- GREEDY REGEX
RewriteCond %{HTTP_USER_AGENT} ^.*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures).*$ [NC]
# ISSUE 403 / SERVE ERRORDOCUMENT
RewriteRule . - [F,L]
کدهای فوق موجب می‌گردند علاوه بر مسدود کردن و عدم امکان دسترسی مرورگرهای آفلاین و ربات‌های بد، صفحه‌ی خطای 403 نیز به آنها نمایش داده شود.
