robots.txt 使用

简单介绍今天在github上学习到的一个小玩意

简介

robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。 此文件主要用于避免您的网站收到过多请求；

• 谷歌 对于这个文件的说明，比官方的要好点

• 测试是否起作用是 这个网址Yandex

测试

上面显示对号 就表示 这个网址可以被搜索引擎抓取到