robots.txt 使用
发布于
简单介绍今天在github上学习到的一个小玩意
简介
robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。 此文件主要用于避免您的网站收到过多请求;
测试
上面显示对号 就表示 这个网址可以被搜索引擎抓取到
简单介绍今天在github上学习到的一个小玩意
robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。 此文件主要用于避免您的网站收到过多请求;
上面显示对号 就表示 这个网址可以被搜索引擎抓取到