<nav id="yqaem"><blockquote id="yqaem"></blockquote></nav>
  • <table id="yqaem"></table>
  • <tt id="yqaem"><blockquote id="yqaem"></blockquote></tt>
    资讯中心

    资讯中心

    通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

    通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

    搜外网站后台日志分析结果如下图:

    搜外主站实际上不存在php后缀的URL地址。

    可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

    在robots.txt文件填写屏蔽规则如下:

    注意前面一个*,后面一个$,代表后缀。

    参考搜外的robots.txt文件写法,点击这里

    扩展阅读:

    robots.txt概念和10条注意事项




    评论(0 条评论)
    游客

    欢迎咨询技术,多一份参考总有益处

    点击QQ咨询
    添加我,免费做你的网络顾问
    返回顶部
    gogo大胆欧美人体艺杧图片_免费a级毛片无码av_人妻无码专区一区二区三区_免费国产乱理伦片在线观看