用noindex，nofollow嚴(yán)禁爬蟲(chóng)收錄特定網(wǎng)頁(yè)

我們不希望網(wǎng)站的一些頁(yè)面展現(xiàn)很多。有些頁(yè)面是不必要被百度收錄的，也不需要出現(xiàn)在搜索結(jié)果中供用戶看到。此時(shí)，我們可以使用它noindex或nofollow嚴(yán)禁搜索引擎檢索語(yǔ)法。
為什么嚴(yán)禁檢索網(wǎng)頁(yè)？
網(wǎng)頁(yè)中的一些功能不需要被搜索，也不需要被爬蟲(chóng)抓住來(lái)尋找結(jié)果頁(yè)面，如未完成的網(wǎng)站、后臺(tái)管理頁(yè)面、購(gòu)物車(chē)、會(huì)員信息、版權(quán)聲明、登錄或用戶留下的信息…沒(méi)有必要讓用戶通過(guò)搜索等待關(guān)鍵頁(yè)面，所以我們會(huì)使用它noindex，nofollow嚴(yán)禁用這種語(yǔ)法檢索爬蟲(chóng)。
嚴(yán)禁爬蟲(chóng)檢索和檢索應(yīng)用語(yǔ)法，其目的不僅是讓用戶看不到這些圖片，還告訴爬蟲(chóng)不要檢索，不要影響SEO優(yōu)化評(píng)分，因?yàn)檫@些頁(yè)面對(duì)用戶和網(wǎng)站沒(méi)有成正比，也沒(méi)有幫助尋找目的。如果爬蟲(chóng)搜索這些內(nèi)容，網(wǎng)站的權(quán)重就會(huì)降低。
用noindex嚴(yán)禁搜索網(wǎng)頁(yè)

Noindex是html meta當(dāng)爬蟲(chóng)看到元素上的值時(shí)noindex不會(huì)搜索網(wǎng)頁(yè)，包含在結(jié)果頁(yè)面中。
簡(jiǎn)單來(lái)說(shuō)就是告訴爬蟲(chóng)，一個(gè)網(wǎng)站有這個(gè)東西，但是沒(méi)有必要把它作為搜索結(jié)果發(fā)給用戶查看更多，因?yàn)樗鼘?duì)尋找意圖和目的沒(méi)有幫助。比如購(gòu)物車(chē)和結(jié)賬圖片，會(huì)員登錄和材料，隱私政策，版權(quán)聲明…等。
想象一下，每個(gè)人都通過(guò)百度搜索引擎搜索「伴手禮」，點(diǎn)擊結(jié)果后，場(chǎng)景不是產(chǎn)品，而是其他圖片或會(huì)員登錄。你不覺(jué)得無(wú)緣無(wú)故嗎？當(dāng)然，大多數(shù)用戶肯定也這么認(rèn)為。

避免大多數(shù)搜索引擎編入索引：
＜meta name="robots"content="noindex＞
避免將特定的搜索引擎編入索引(例如)百度)：
＜meta name="baidu bot"content="noindex"＞
這個(gè)命令需要一些，單頁(yè)設(shè)置，比如網(wǎng)站有5個(gè)地方不需要檢索，需要設(shè)置5次，5頁(yè)。詳情請(qǐng)參考百度搜索中心：中繼標(biāo)識(shí)
有些人可能會(huì)發(fā)現(xiàn)它不能使用robots.txt告訴爬蟲(chóng)什么頁(yè)面不需要檢索嗎？這兩個(gè)功能還是有些不同的。
Noindex與robots.txt
noindex
在網(wǎng)站的某些頁(yè)面上，爬蟲(chóng)可以被告知「這個(gè)頁(yè)面」不要檢索和檢索。
robots.txt
在網(wǎng)站的根目錄中，告訴爬蟲(chóng)不要檢索這個(gè)「整個(gè)」網(wǎng)站，比如網(wǎng)站管理后臺(tái)，特定資料內(nèi)的檔案和測(cè)試網(wǎng)站。
不過(guò)，由于robots.txt不是強(qiáng)制命令，也不是所有搜索引擎都會(huì)遵循，所以應(yīng)用程序robots.txt嚴(yán)禁爬蟲(chóng)爬網(wǎng)站內(nèi)容，仍有可能未經(jīng)檢索，不小心將網(wǎng)站編入索引。
延伸閱讀：
robots.txt用途是什么？爬蟲(chóng)聽(tīng)話的秘密是什么？
用nofollow無(wú)關(guān)連結(jié)的聲明網(wǎng)站
Nofollow也是html meta元素上的一個(gè)值，用來(lái)告訴搜索模塊不要跟蹤特定的網(wǎng)站連結(jié)，也就是爬蟲(chóng)看到nofollow網(wǎng)站上的任何內(nèi)鏈都不會(huì)跟蹤。
這通常用于網(wǎng)站上的評(píng)論和評(píng)論區(qū)，或者用戶可以自由發(fā)布評(píng)論類(lèi)網(wǎng)站，如論壇、社區(qū)媒體或留言板…等。
有了這個(gè)類(lèi)別的網(wǎng)站，很容易吸引很多垃圾評(píng)論，廣告及其站無(wú)關(guān)。當(dāng)一個(gè)網(wǎng)站充斥著這種不必要的鏈接時(shí)，很容易降低網(wǎng)站的排名和質(zhì)量，所以我們可以使用它nofollow告訴爬蟲(chóng)這些聯(lián)系和我們沒(méi)關(guān)系。
避免搜索引擎檢索：
＜metaname="robots"content="nofollow"＞
不過(guò)百度現(xiàn)已將nofollow請(qǐng)將用戶自制內(nèi)容(評(píng)論或論壇)的鏈接標(biāo)識(shí)改為爬蟲(chóng)的參考標(biāo)準(zhǔn)，而不是關(guān)鍵指標(biāo)。ugc，語(yǔ)法體現(xiàn)如下：「rel="ugc"」。詳情請(qǐng)查看：表示鏈接限制
網(wǎng)頁(yè)上的隱私內(nèi)容
為了改善網(wǎng)站的一些頁(yè)面的隱私，不僅要結(jié)合語(yǔ)法限制使用，還要適度增加驗(yàn)證系統(tǒng)。例如，設(shè)置會(huì)員賬戶、添加驗(yàn)證系統(tǒng)、選擇可鎖工具或添加功能來(lái)阻止，這些都是改善隱私的方法。

yinyiprinting.cn 寧波海美seo網(wǎng)絡(luò)優(yōu)化公司 是網(wǎng)頁(yè)設(shè)計(jì)制作，網(wǎng)站優(yōu)化，企業(yè)關(guān)鍵詞排名，網(wǎng)絡(luò)營(yíng)銷(xiāo)知識(shí)和開(kāi)發(fā)愛(ài)好者的一站式目的地，提供豐富的信息、資源和工具來(lái)幫助用戶創(chuàng)建令人驚嘆的實(shí)用網(wǎng)站。 該平臺(tái)致力于提供實(shí)用、相關(guān)和最新的內(nèi)容，這使其成為初學(xué)者和經(jīng)驗(yàn)豐富的專(zhuān)業(yè)人士的寶貴資源。