網(wǎng)站在沒有做靜態(tài)化的時(shí)候直接上線，之后又重新做靜態(tài)化處理,在搜索引擎收錄中時(shí)常有一個(gè)現(xiàn)象，一個(gè)頁(yè)面有兩個(gè)收錄地址,一個(gè)是動(dòng)態(tài)鏈接,一個(gè)是靜態(tài)鏈接,顯然這樣的搜索引擎收錄對(duì)網(wǎng)站權(quán)重影響很大,所以我們?cè)?a href="http://www.paomobaoz.com/about.html" target="_self">網(wǎng)站優(yōu)化的時(shí)候要使用robots來屏蔽掉動(dòng)態(tài)鏈接。

    首先,我們來看看為什么會(huì)出現(xiàn)重復(fù)收錄的情況,可能的原因有以下幾點(diǎn)

    1.搜索引擎是程序語言來識(shí)別判斷，做不到像人一樣的充分的識(shí)別，只是鏈接地址不一樣就收錄了，動(dòng)態(tài)地址和靜態(tài)地址自然就分不清楚了。

    2.建站過程中因?yàn)闀r(shí)間原因或是測(cè)試需要在還沒有做靜態(tài)化的情況下就上線了網(wǎng)站,搜索引擎直接收錄所致

    3.模板問題,例如wordpress程序雖然看上去網(wǎng)站整站已經(jīng)做了靜態(tài)化,但是在網(wǎng)站地圖中都是動(dòng)態(tài)鏈接

    其次,我們說說重復(fù)收錄的后果有哪些

    搜索引擎更喜歡靜態(tài)頁(yè)面,所以有時(shí)會(huì)自動(dòng)剔除動(dòng)態(tài)鏈接,這樣收錄之后再刪除的工作重復(fù)，會(huì)使蜘蛛工作量加大，反感你的網(wǎng)站，降低收錄

    最后，如何避免內(nèi)容被重復(fù)收錄

    1.網(wǎng)站中盡量用統(tǒng)一的靜態(tài)地址，檢查網(wǎng)站中手動(dòng)增加或是導(dǎo)航鏈接等地方是否還有動(dòng)態(tài)鏈接，有的話一律改為動(dòng)態(tài)的。

    2.robots.txt進(jìn)行動(dòng)態(tài)文件的屏蔽，如：“Disallow: /*?*”提示：如此屏蔽法適合在不存在“TAG標(biāo)簽”下利用，否則標(biāo)簽也將被屏蔽。不同程序進(jìn)行不同屏蔽。

    robots.txt文件的規(guī)范性。在文件開頭進(jìn)行空格。例如，robots.txt文件的開頭：

    “User-agent: *

    Disallow: /plus/ad_js.php”

    很多的時(shí)候，user-agent分號(hào)后面沒有空格，而是直接“*”號(hào)了。這就是一個(gè)很微小的錯(cuò)誤，但是也是致命的錯(cuò)誤。

    要注意的是，我們知道php動(dòng)態(tài)頁(yè)面都是從數(shù)據(jù)調(diào)用的數(shù)據(jù)，而這個(gè)網(wǎng)頁(yè)不是真實(shí)存在的，所以搜索引擎久而久之就會(huì)丟棄這樣的頁(yè)面，它會(huì)認(rèn)為這是不可靠的頁(yè)面。所以我們要屏蔽這樣的動(dòng)態(tài)頁(yè)面，從而降低我們網(wǎng)頁(yè)的重復(fù)頁(yè)面。那么我們只要在robots.txt文件里面，加上這樣的代碼就行了："Disallow:/*?*”。這個(gè)代碼的意思是根目錄下個(gè)所有動(dòng)態(tài)禁止搜索引擎訪問。

    網(wǎng)站建設(shè)與優(yōu)化嚴(yán)把細(xì)節(jié)優(yōu)化，內(nèi)容重復(fù)收錄是大患，應(yīng)認(rèn)真對(duì)待，否最終難以逾越排名障礙。