搜索引擎蜘蛛是自动的,它们在访问任意网站的网页之前,都会首先查看是否存在阻止它们访问特定网页的robots.txt文件。如果存在,搜索蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有...

共1页/1条
分享到: