<nav id="yqaem"><blockquote id="yqaem"></blockquote></nav>
  • <table id="yqaem"></table>
  • <tt id="yqaem"><blockquote id="yqaem"></blockquote></tt>
    资讯中心

    资讯中心

    robots.txt:如何让搜索引擎不要抓取没用的页面

    | 什么是robots文件?

    Robots是站点与spider沟通的重要渠道,是网站与搜索引擎爬虫之间的协议,告知哪些可抓取哪些不允许。

    | 为什么要做robots文件?

    网站上总有一些页面是禁止蜘蛛抓取的。例如:搜索页面、筛选页面、后台登录地址等。

    | 如何制作 robots文件?

    编写robots.txt文件并上传到网站根目录。

    | 制作 robots.txt注意事项

    ●?所有搜索引擎则用星号表示

    ●?Allow(允许)和Disallow(不允许)优先级

    ●?至少屏蔽一个,可以屏蔽:搜索结果页面/404页面

    ●?记得将sitemap放到Robots文件中

    ●?可以陆续放入更多,而不是一次性决定所有

    ●?网站后台地址/图片地址/下载文件地址/错误链接




    评论(0 条评论)
    游客

    欢迎咨询技术,多一份参考总有益处

    点击QQ咨询
    添加我,免费做你的网络顾问
    返回顶部
    gogo大胆欧美人体艺杧图片_免费a级毛片无码av_人妻无码专区一区二区三区_免费国产乱理伦片在线观看