網(wǎng)站SEO優(yōu)化中的meta robots，robots.txt的作用

什么是meta robot/robot.txt

這篇文章我們會(huì)告訴你如何使用meta robots以及robots.txt優(yōu)化百度等搜索引擎索引。

meta robots以及robots.txt工作是阻止百度等搜索引擎搜索并索引您的頁面。時(shí)下SEO優(yōu)化排名以及高流量是沒有特別大的用處。流量必須對企業(yè)有價(jià)值，能夠創(chuàng)造轉(zhuǎn)換。因此，用戶體驗(yàn)相對重要。如果你有一個(gè)特定的頁面它可能會(huì)產(chǎn)生不好的用戶體驗(yàn)（UX），通過這些方式，您可以防止該頁面出現(xiàn)在百度等搜索引擎搜索結(jié)果中。

meta robots vs robots.txt

robots.txt如果你使用它，可以阻止搜索引擎索引你的信息robots.txt為了阻擋搜索引擎，搜索引擎會(huì)跳過你阻擋的頁面，而不是搜索。

但meta robots不同的是，他阻止搜索引擎在索引層表面索引你的頁面，但百度等搜索引擎仍然有你的網(wǎng)站信息，但我們?yōu)槭裁匆@樣做呢？文章稍后會(huì)說出來的。

基本上，大多數(shù)情況下我們不會(huì)使用robots.txt為了防止搜索引擎索引我們的網(wǎng)站，除非你確定這個(gè)頁面對搜索引擎優(yōu)化有負(fù)面影響，如果你有一個(gè)頁面不想出現(xiàn)在搜索引擎中，我建議使用它meta robots只需控制索引。網(wǎng)站的數(shù)據(jù)仍然是一樣的。讓百度等搜索引擎搜索。但是如果你確定這些頁面會(huì)影響搜索引擎優(yōu)化，而且你不想搜索百度等搜索引擎，你必須使用它們Robots.txt。(例如，在開發(fā)中，但尚未完成的網(wǎng)頁)

使用robots.txt檔案很簡單，你只需要建立一個(gè)叫做robots的檔案txt檔案，并上傳到根目錄，并且在這個(gè)檔案中寫下你希望百度等搜索引擎不要抓取的頁面路徑。

你會(huì)看到的yinyiprinting.cn下面的根目錄我上傳了這個(gè)檔案，我不想讓搜索引擎抓住我的后臺(tái)登錄頁面，所以會(huì)有disallow: /wp-admin/這些內(nèi)容

基本上在robots.txt你只需要在檔案中填寫這些資料：

User-agent：填寫搜索引擎蜘蛛的值（*號(hào)碼代表全部)

Disallow：填寫您希望搜索引擎不索引的頁面路徑

Allow：如果您希望搜索引擎索引，請?zhí)顚懡顾饕捻撁媛窂?/p>

學(xué)習(xí)使用meta robots

要用meta robots只要您直接將其添加到head下，您必須將此標(biāo)簽添加到head中，即“您不想被索引的頁面下”。

所以如果你有六個(gè)頁面不想被索引？是的，你必須手動(dòng)添加這六頁meta robots。

meta robots標(biāo)簽是這樣長的:

基本上這個(gè)標(biāo)簽有兩個(gè)值:noindex和nofollow:

index vs noindex

當(dāng)你不想搜索引擎索引這個(gè)頁面時(shí)，填寫它noindex，如果你想填寫正常的索引，請?zhí)顚懰黫ndex

follow vs nofollow

至于fofollow，這個(gè)值意味著，如果你想讓搜索引擎在搜索這個(gè)頁面時(shí)不進(jìn)一步搜索連接到頁面的連接，你將填寫nofolow的值。這個(gè)功能通常用于社區(qū)論壇或網(wǎng)站討論版，以防止有人在你的頁面上粘貼連接，以增加他的SEO優(yōu)化反鏈和排名。如果使用nofollow，搜索引擎的搜索將在頁面上停止，并且不會(huì)繼續(xù)向其他連接前進(jìn)。固體可以防止粘貼連接的發(fā)生。

這兩個(gè)值的功能完全不同。讓我舉幾個(gè)例子，讓你知道如何使用它們。

1.

這種做法是告訴搜索引擎，不要索引我的網(wǎng)站，也不要在搜索數(shù)據(jù)時(shí)搜索相關(guān)鏈接。

2.

索引資料時(shí)，不要索引相關(guān)鏈接。

3.

不要索引我的頁面，但請正常索引頁面上的所有鏈接(最常用的使用方法)

4.

這種做法毫無意義。此外，此標(biāo)簽與未添加標(biāo)簽相同，這意味著搜索引擎將正常索引。

做SEO優(yōu)化，何時(shí)會(huì)用robots.txt阻止百度等搜索引擎索引？

對于索引（Crawl）在優(yōu)化工作中，你的網(wǎng)站百度一定要理解，數(shù)據(jù)也要掌握。有些動(dòng)態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)對于網(wǎng)絡(luò)路爬的索引來說是有問題的，這個(gè)我在上一篇文章中提到過，畢竟最遺憾的是你的網(wǎng)站有優(yōu)質(zhì)的內(nèi)容，但是百度等搜索引擎根本找不到數(shù)據(jù)…。百度搜索引擎蜘蛛基本上是網(wǎng)絡(luò)上效率最好的，但相對來說就像神馬，Bing，360，它們的效率可能沒有百度搜索引擎那么好，所以我們要隨時(shí)關(guān)注百度搜索引擎的索引。

但是，你不希望百度等搜索引擎索引到一些頁面和內(nèi)容，此時(shí)你必須使用它們Robots.txt為了阻止百度等搜索引擎蜘蛛的搜索，這也是我們今天文章討論的重點(diǎn)。讓我們來看看百度等搜索引擎蜘蛛不會(huì)索引你的網(wǎng)站。

未完成的頁面

如果你有一個(gè)由技術(shù)人員開發(fā)的頁面，但頁面需要很長時(shí)間才能完成，甚至需要修改和測試，未完成的頁面通常不會(huì)受到損害SEO優(yōu)化，但您不希望訪問者在搜索引擎中搜索未完成的頁面，因?yàn)槲赐瓿傻捻撁鏁?huì)給用戶更差的使用體驗(yàn)。

測試頁面

我曾經(jīng)碰過工程師，為了做功能測試，打開了測試用子網(wǎng)域，并上傳了與主網(wǎng)域完全相同的內(nèi)容來理解百度等搜索引擎Panda：本文提到了網(wǎng)站內(nèi)容對SEO的影響。完全相同的網(wǎng)站內(nèi)容會(huì)對SEO優(yōu)化造成損害。如果有這樣的頁面，我建議你把百度等搜索引擎蜘蛛擋在門外。

網(wǎng)站背景，其他原因

就我而言，我的網(wǎng)站是用WordPress架設(shè)的，所以我用了robots.txt防止搜索引擎搜索我的網(wǎng)站后臺(tái)。搜索引擎搜索到后臺(tái)的登錄頁面對SEO沒有損害，但一點(diǎn)幫助都沒有。同時(shí)，如果你不想搜索引擎搜索你的網(wǎng)站，我也建議你使用它robots.txt阻止搜索引擎的索引。

yinyiprinting.cn 寧波海美seo網(wǎng)絡(luò)優(yōu)化公司 是網(wǎng)頁設(shè)計(jì)制作，網(wǎng)站優(yōu)化，企業(yè)關(guān)鍵詞排名，網(wǎng)絡(luò)營銷知識(shí)和開發(fā)愛好者的一站式目的地，提供豐富的信息、資源和工具來幫助用戶創(chuàng)建令人驚嘆的實(shí)用網(wǎng)站。 該平臺(tái)致力于提供實(shí)用、相關(guān)和最新的內(nèi)容，這使其成為初學(xué)者和經(jīng)驗(yàn)豐富的專業(yè)人士的寶貴資源。