新聞中心
運營知識 | 網站運營之禁止搜索引擎收錄和傳遞權重的方法及注意事項
為了避免網站內部競爭等原因,我們常常需要禁止搜索引擎收錄某些特定頁面或者網站。這種禁止傳遞權重或者禁止搜索引擎收錄的方法有很多,今天就來推薦幾種常用的禁止搜索引擎收錄網站的方法。
一、A標簽加nofollow屬性值禁止傳遞權重
此方法可以用于站內的鏈接,也可以用于站外的鏈接。顧名思義就是告訴搜索引擎,該鏈接頁面我不準備向他傳遞任何權重。
早些年就有一些SEOER利用NOFOLLOW標簽試圖操作搜索引擎的鏈接流動。后期有不少SEO大牛給出一種假設,就是每個頁面都會有一個相當的權重值,比如某個頁面權重是1它也可以像外面投出100個鏈接的投票,那么每個鏈接傳遞的權重就是0.01,如果該頁面100個鏈接中有30個是加了NOFOLLOW標簽的,那么你就等于浪費掉了這30票。
使用NOFOLLOW標簽需要注意的是,如果只是通過NOFOLLOW標簽來禁止蜘蛛爬行的話。搜索引擎很有可能通過其他其他渠道訪問到該頁面,并進行索引。
具體寫法:
nofollow百度百科的解釋:
這個標簽的意義是告訴搜索引擎"不要追蹤此網頁上的鏈接或不要追蹤此特定鏈接"。
nofollow[1] 是一個HTML標簽的屬性值。它的出現為網站管理員提供了一種方式,即告訴搜索引擎"不要追蹤此網頁上的鏈接"或"不要追蹤此特定鏈接"。這個標簽的意義是告訴搜索引擎這個鏈接不是經過作者信任的,所以這個鏈接不是一個信任票。
nofollow標簽是由谷歌領頭創新的一個“反垃圾鏈接”的標簽,并被百度、yahoo等各大搜索引擎廣泛支持,引用nofollow標簽的目的是:用于指示搜索引擎不要追蹤(即抓取)網頁上的帶有nofollow屬性的任何出站鏈接,以減少垃圾鏈接的分散網站權重!
簡單的說就是,如果A網頁上有一個鏈接指向B網頁,但A網頁給這個鏈接加上了 rel="nofollow" 標注,則搜索引擎不把A網頁計算入B網頁的反向鏈接。搜索引擎看到這個標簽就可能減少或完全取消鏈接的投票權重。
二、META標簽禁止傳遞權重
MEAT標簽禁止搜索引擎收錄的原理和NOFOLLOW屬性標簽一樣,是通過該標簽,告訴搜索引擎,該頁面的所有連接都不準備傳遞權重。只不過該標簽是設置在該頁面的META標簽里面的。
具體寫法: 注釋:大小寫沒所謂
三、META標簽禁止收錄當前頁面
設置原理同上,也是放到使用頁面的MEAT標簽里面。通過該標簽,可以告訴搜索引擎,禁止收錄該頁面。
具體寫法:
四、robots.txt文件
robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
robots.txt(請使用小寫)是存在于網站根目錄下的一個TXT文件,一般來說蜘蛛在爬行網頁之前都得先去檢索這個文件。記得今年360搜索引擎還敗訴給百度,就是因為百度設置了某些網頁不允許任何搜索引擎索引抓取,而360違反了這個規則。可見現在ROBOTS規則已經明確列入到法律的范圍了,所以用這個協議禁止搜索引擎收錄,爬行,是最有效的辦法。
使用方法如下:
User-agent: * 注釋:所有搜索引擎
Allow: / 注釋:允許抓取所有文件
Disallow: /news/ 注釋:禁止抓取news欄目下的文件
需要注意的是, (冒號)后面是需要加空格的,而且規則的第一個字母要求大寫(欄目和文件不用),如果格式寫錯了會造成不可估量的損失。因為有的網站編碼的問題,或者其他問題經常導致類似事件發生。所以建議各位SEOER還是使用工具來生成。對于那些已經生成ROBOTS的SEOER可以用下面的地址去檢測是否設置正確。
百度站長平臺:ROBOTS檢驗工具
ROBOTS生成工具
今天的分享就到這里。以上方法,可以單獨使用,也可以組合使用。