售前咨詢:0311-8736 0077
售后服務(wù):0311-8736 0066
值班手機(jī):189?3198?6878

網(wǎng)站優(yōu)化跟蹤 細(xì)看robots.txt規(guī)則的實(shí)際效果
發(fā)布時(shí)間:2011-10-29 點(diǎn)擊次數(shù):

10月20日,我對(duì)博客進(jìn)行了大規(guī)模調(diào)整,就如同對(duì)待亟待成長(zhǎng)的樹一般修枝剪葉,以期能有較好的成長(zhǎng)趨勢(shì)。其中robots.txt被我充分的利用起來(lái)。

如今一個(gè)工作周即將過(guò)去,robots.txt文件規(guī)則是否正確,是否已經(jīng)生效?百度谷歌等搜素引擎是否響應(yīng)了robots.txt規(guī)則進(jìn)行索引調(diào)整?作為站長(zhǎng)我需要深入研究一番,以便動(dòng)態(tài)掌握博客收錄狀態(tài)。

經(jīng)調(diào)查發(fā)現(xiàn),谷歌對(duì)robots.txt反應(yīng)比較迅速,第三天在網(wǎng)站管理工具里找到了跡象。百度表現(xiàn)不盡如人意,說(shuō)百度不認(rèn)robots.txt規(guī)則那是瞎扯,但反應(yīng)周期如此之長(zhǎng),難免會(huì)留下反應(yīng)慢不作為的猜疑。

看谷歌對(duì)robots.txt規(guī)則之反應(yīng)

在20日做的調(diào)整中,有兩條規(guī)則我后來(lái)做了刪除。打開我博客的robots.txt,和20日進(jìn)行調(diào)整寫下的對(duì)比,可知其中變化。

作此調(diào)整的原因在于,如按照20日的寫法,第二天我發(fā)現(xiàn),網(wǎng)站管理員工具Sitemaps里三個(gè)被選中的地址前出現(xiàn)了叉號(hào)——被robots.txt文件規(guī)則給阻止了——這個(gè)沒(méi)必要嘛。當(dāng)時(shí)的截圖找不到了,下面三個(gè)選中的可以看一下:

不得言提交的sitemap網(wǎng)站地圖

提交的sitemap網(wǎng)站地圖

響應(yīng)robots.txt規(guī)則,谷歌停止了2000 多個(gè)連接地址的抓取。那500多個(gè)找不到地址,是因?yàn)榍岸螘r(shí)間刪除文章標(biāo)簽tags后遺癥。下面是截圖:

robots.txt規(guī)則寫法圖例

2000多個(gè)連接地址被robots.txt規(guī)則限制

翻遍每一頁(yè),沒(méi)有發(fā)現(xiàn)問(wèn)題——除了一些/?p=的短連接讓人心疼外,一切完美無(wú)暇。嚴(yán)格來(lái)說(shuō),應(yīng)該是robots.txt規(guī)則不存在問(wèn)題,谷歌不折不扣的執(zhí)行了robots.txt規(guī)則。

谷歌查詢“site:***.com inurl:?p” 僅找到殘缺的14條(無(wú)標(biāo)題或摘要)。不久的將來(lái)這些地址將被清除。


------------------------------------------------------------------------------------------
藍(lán)點(diǎn)網(wǎng)絡(luò)提供:
網(wǎng)站建設(shè)、APP開發(fā)、微信小程序、400電話、軟件開發(fā)、服務(wù)器托管/租用等業(yè)務(wù)。
從2003年開始,我們始終堅(jiān)守【網(wǎng)站建設(shè)】服務(wù),19年從未放棄??!



售前咨詢:0311-8736 0077 
 

售后服務(wù):0311-8736 0066 
 
值班手機(jī):
189 3198 6878

專注網(wǎng)站建設(shè)19年,服務(wù)客戶超7000家! 售前咨詢:0311-87360077 售后服務(wù):0311-87360066 值班手機(jī):189 3198 6878 早8:00—晚22:00(周一至周日) 在線咨詢