Robots 协议，也被称为爬虫协议，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不想要抓取。
查看网站是否有robots协议的方法是 yourdomain.com/robots.txt 如果打开有内容说明有放robots协议，反之则没有。
Robots放置的位置在网站根目录。
- 如果使用的是Yoast插件，可以在SEO – Tools – File editor 内修改。
- 如果不是的话，请新建一个txt文档，命名为robots, 上传至网站根目录。
Robots.txt 文件的写法
- 禁止索引收录
User-agent: *
Disallow: / - 放开索引收录
User-agent: *
Allow: /
Disallow: /*?*
Disallow: /wp-admin/
评论