运用robots.txt找比较敏感文档实例教程

2021-03-26 17:05


运用robots.txt找比较敏感文档实例教程


短视頻,自新闻媒体,达人种草1站服务

robots.txt是1个协议书,而并不是1个指令。robots.txt是检索模块中浏览网站的情况下要查询的第1个文档。robots.txt文档告知蜘蛛程序流程在服务器上甚么文档是能够被查询的。当1个检索蜘蛛浏览1个站点时,它会最先查验该站点根文件目录下是不是存在robots.txt,假如存在,检索设备人就会依照该文档中的內容来明确浏览的范畴;假如该文档不存在,全部的检索蜘蛛将可以浏览网站上全部沒有被动态口令维护的网页页面。百度搜索官方提议,仅当您的网站包括不期待被检索模块收录的內容时,才必须应用robots.txt文档。假如您期待检索模块收录网站上全部內容,请勿创建robots.txt文档。

举例:

假如将网站视作酒店餐厅里的1个房间,robots.txt便是主人在房间门口悬架的 请勿打扰 或 欢迎清扫 的提醒牌。这个文档告知来访的检索模块哪些房间能够进到和参观考察,哪些房间由于储放珍贵物件,或将会涉及到居民及访客的隐私保护而不对检索模块对外开放。但robots.txt并不是指令,也并不是防火墙,好似守门人没法阻拦窃贼等故意闯进者。

这里不给時间大伙儿看了,看完实例教程再细心阅读文章1下,很非常容易了解的,实际上便是SEO中的阶段,做SEO的人都了解,这个文档很常见,以便不让百度搜索蜘蛛抓取你的1些不关键的网页页面,或是你想百度搜索蜘蛛抓取你的甚么网页页面,就靠这个文档来操纵便可,因此就给了大家侵入者大大的便捷,依据我的工作经验

有的情况下各种各样扫文件目录,也找不到后台管理的情况下,当心翼翼的浏览1下这个文档,蛋疼的你就发现这个文档里边许多文件目录,在其中讨人喜欢的后台管理详细地址就赫赫的呈现在上面,你浏览1下就得到后台管理详细地址了!

下面来实战演练1下,让大伙儿看看实际效果

看文件目录,就了解是织梦程序流程 这个ICO也能看出。

User-agent: *

Disallow: /plus/ad_js.php

Disallow: /plus/advancedsearch.php

Disallow: /plus/car.php

Disallow: /plus/carbuyaction.php

Disallow: /plus/shops_buyaction.php

Disallow: /plus/erraddsave.php

Disallow: /plus/posttocar.php

Disallow: /plus/disdls.php

Disallow: /plus/feedback_js.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/remend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

这个沒有后台管理详细地址,最少我没看出可疑的文档,原先是默认设置后台管理详细地址 dede/

Disallow: /wp-admin/

Disallow: /wp-login.php

Disallow:不容许蜘蛛抓取的意思 1看就了解这是后台管理详细地址,试试,对吧

#

# robots.txt for Discuz! X3

#

User-agent: *

Disallow: /api/

Disallow: /data/

Disallow: /source/

Disallow: /install/

Disallow: /template/

Disallow: /config/

Disallow: /uc_client/

Disallow: /uc_server/

Disallow: /static/

Disallow: /admin.php

Disallow: /search.php

Disallow: /member.php

Disallow: /api.php

Disallow: /misc.php

Disallow: /connect.php

Disallow: /forum.php?mod=redirect*

Disallow: /forum.php?mod=post*

Disallow: /home.php?mod=spacecp*

Disallow: /userapp.php?mod=app *

Disallow: /*?mod=misc*

Disallow: /*?mod=attachment*

根据这里,能够看出这个是Discuz! X3程序流程 x3版本号的,是1个论坛

1.能够获得后台管理详细地址 高效率非常好

2.能够得到网站程序流程名字

侵入的情况下,别忘了这个文档便可! 实例教程完毕




扫描二维码分享到微信

在线咨询
联系电话

020-66889888