国产精品美女久久久久久网站,国产初高中真实精品视频,日本三级香港三级欧美三级,国产精品自在拍一区二区不卡

當我們成都網(wǎng)站建設(shè)的網(wǎng)站剛上線后，都希望網(wǎng)站被盡快收錄，于是會去吸引蜘蛛的到來，蜘蛛到來的頻率過高有時候會導致iis資源耗盡，網(wǎng)站中時常數(shù)出現(xiàn)service unavoidable的提示，這個詞的出現(xiàn)可以直接表現(xiàn)為訪問量很小。

是蜘蛛的到來引起我們網(wǎng)站資源的缺乏，是蜘蛛耗盡服務(wù)器資源的，所以我們的解決辦法就針對蜘蛛進行。利用robots.txt中的disallow屏蔽部分沒有實際意義的內(nèi)容。

格式如下：

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

說明：

user-agent:*：  *代表允許所有的搜索引擎來抓取數(shù)據(jù)。
disallow:/search.html：不允許收錄/search.html這個文件的數(shù)據(jù)。
disallow:/index.php?：不允許收錄以/index.php?為前綴的鏈接。
disallow:/tempweb/：不允許收錄/tempweb/里所有的文件，但可以收錄如：/tempwebtaim.html的鏈接。