如何写robots.txt

Linda 2019年11月27日14:30:57
评论
686

Robots 协议,也被称为爬虫协议,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不想要抓取。

查看网站是否有robots协议的方法是 yourdomain.com/robots.txt   如果打开有内容说明有放robots协议,反之则没有。

如何写robots.txt

Robots放置的位置在网站根目录。

  • 如果使用的是Yoast插件,可以在SEO – Tools – File editor 内修改。
  • 如果不是的话,请新建一个txt文档,命名为robots, 上传至网站根目录。

Robots.txt 文件的写法

  • 禁止索引收录
    User-agent: *
    Disallow: /
  • 放开索引收录
    User-agent: *
    Allow: /
    Disallow: /*?*
    Disallow: /wp-admin/
Linda
  • 本文由 发表于 2019年11月27日14:30:57
  • 转载请务必保留本文链接:https://beydian.com/how-to-write-robots/

发表评论