您好!欢迎来到e资源!本站资源24小时自动发货,海量精品课程资源免费下载!

robots文件的作用是什么?

什么是robots文件robots文件是网站和搜索引擎之间的协议,也是搜索引擎爬虫爬行网站第一个访问的文件,官方叫做爬虫协议或者是机器人协议,robots的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),我们所做的任何网站都可以通过robots协议告诉搜索引擎我们网站的哪...

评论0

开通vip
首页 导航 会员 客服 微信
QQ 微信 邮箱 TOP