<nav id="yqaem"><blockquote id="yqaem"></blockquote></nav>
  • <table id="yqaem"></table>
  • <tt id="yqaem"><blockquote id="yqaem"></blockquote></tt>
    资讯中心

    资讯中心

    robots.txt概念和10条注意事项

    robots.txt概念

    如果我们网站内有某些特殊的文件不让搜索引擎收录,那怎么办?

    答案是:使用一个叫做robots.txt的文件。

    robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取,哪些不允许抓取。

    搜索引擎蜘蛛访问网站任何文件之前,需先访问robots.txt文件,然后抓取robots.txt文件允许的路径,跳过其禁止的路径。

    总结:robots.txt是一个简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录。

    关于robots.txt文件的10条注意事项:

    1、如果未创建robots.txt文件,则代表默认网站所有文件向所有搜索引擎开放爬取。

    2、必须命名为:robots.txt,都是小写,robot后面加"s"。

    3、robots.txt必须放置在一个站点的根目录下。


    评论(0 条评论)
    游客

    欢迎咨询技术,多一份参考总有益处

    点击QQ咨询
    添加我,免费做你的网络顾问
    返回顶部
    gogo大胆欧美人体艺杧图片_免费a级毛片无码av_人妻无码专区一区二区三区_免费国产乱理伦片在线观看