robots协议最容易忽略却很致命的小细节

在我看来robots协议就是站长行使网站支配权的执行文件，这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口，所以robots协议的重要性也是可想而知了。