一般来说，网站或多或少都存在一些对排名没意义甚至有害的页面。对于站长来说是不希望被搜索引擎检索的，而robots.txt文件则承担了这项功能。当蜘蛛访问网站会优先抓取robots.txt，遵循站长配置...