robots文件的作用是什么？

什么是robots文件robots文件是网站和搜索引擎之间的协议，也是搜索引擎爬虫爬行网站第一个访问的文件，官方叫做爬虫协议或者是机器人协议，robots的全称是“网络爬虫排除标准”（RobotsExclusionProtocol），我们所做的任何网站都可以通过robots协议告诉搜索引擎我们网站的哪...

评论0