談?wù)撐覀円槐橛忠槐榭吹降囊恍┏Ｒ姷捻撁嫦葳鍟?huì)很有幫助，以下這些點(diǎn)可以改善您的頁面搜索引擎優(yōu)化。

1.抓取預(yù)算

鑒于像谷歌這樣的搜索引擎為每個(gè)域（和子域）分配了一定的抓取預(yù)算，我總是驚訝于網(wǎng)站所有者只是試圖將所有內(nèi)容都推送到索引中。而且對(duì)于哪些網(wǎng)站可以進(jìn)行爬蟲訪問，他們似乎也完全不小心。

要在您的網(wǎng)站上評(píng)估和解決這些問題，一個(gè)很好的起點(diǎn)是Google網(wǎng)站管理員工具（轉(zhuǎn)到：抓取>抓取統(tǒng)計(jì)信息），它可以讓您初步了解網(wǎng)站的運(yùn)作情況。一個(gè)成功的圖表略有增加 - 這通常反映出Google會(huì)選擇添加的內(nèi)容，因此會(huì)更頻繁地返回。相反，如果該圖表跳躍或大幅減少，您可能會(huì)遇到問題。

有兩種方法可以控制搜索引擎抓取工具：使用robots.txt指令并在HTML標(biāo)記中實(shí)現(xiàn)漫游器元標(biāo)記（或?qū)⑵渥鳛镠TTP X-Robots標(biāo)頭提供）。但是，這兩個(gè)指令的問題在于它們無法解決您的（潛在的）爬網(wǎng)預(yù)算問題：

機(jī)器人元標(biāo)記：實(shí)施正確的“無索引 ”確實(shí)會(huì)阻止某個(gè)網(wǎng)頁顯示在搜索結(jié)果中，但該網(wǎng)頁仍會(huì)被抓取 - 因此必須使用抓取預(yù)算。

robots.txt：  阻止網(wǎng)址（或文件夾等）會(huì)阻止網(wǎng)站被抓?。ㄒ虼瞬粫?huì)浪費(fèi)抓取預(yù)算）; 然而，存在巨大的缺點(diǎn)。一個(gè)是頁面可能仍然（部分）顯示在搜索結(jié)果中（主要是由于從其他地方鏈接），所有入站鏈接汁將被截止。換句話說，這些鏈接無助于您的排名。

考慮到這些要點(diǎn)，你可能會(huì)考慮將這些結(jié)合起來......但請(qǐng) - 不要！它根本無法工作。如果使用robots.txt阻止某個(gè)網(wǎng)頁，則系統(tǒng)不會(huì)抓取該網(wǎng)站，因此根本無法讀取元漫游器代碼！

注意過濾器和排序，分頁以及其他可能無用的頁面。我們經(jīng)?？吹竭@些只是被推到了索引，但肯定永遠(yuǎn)不會(huì)或?qū)?huì)排名。不要浪費(fèi)谷歌的資源！

根據(jù)經(jīng)驗(yàn)：如果你想確保不浪費(fèi)爬行預(yù)算，只有頁面確實(shí)有用（所以不要首先創(chuàng)建其他頁面）。如果你有其他人不想出現(xiàn)，我會(huì)使用元機(jī)器人來至少利用入站鏈接資產(chǎn)。

2.重復(fù)內(nèi)容

我假設(shè)每個(gè)人都熟悉重復(fù)內(nèi)容（DC）問題，但結(jié)果并非如此。由于大量的內(nèi)部（部分）DC，看到有多少站點(diǎn)仍然表現(xiàn)不佳，我總是感到驚訝。盡管現(xiàn)在大多數(shù)網(wǎng)站都可以處理會(huì)話ID和跟蹤參數(shù)，但這里有一些“經(jīng)典”我想提醒你：HTTP與HTTPs被認(rèn)為是DC，產(chǎn)品可用于多個(gè)類別（并且不使用單個(gè)產(chǎn)品URL也會(huì)導(dǎo)致DC，子域（如登臺(tái)服務(wù)器）可能會(huì)讓您遇到麻煩。

也就是說，rel =“canonical”元標(biāo)記（或X-Robots Rel-Canonical Header）可以幫助您解決這些問題，但我認(rèn)為這是解決DC問題的第三個(gè)最佳選擇。在我看來，這完全取決于效率 - 因此解決問題的最佳方法是確保您只使用一個(gè)（規(guī)范化的）URL而不是多個(gè)URL來提供內(nèi)容。就這么簡(jiǎn)單。

我一般不會(huì)依賴谷歌稱之為“強(qiáng)烈暗示”的東西 - 因?yàn)樗凳舅麄兛赡軙?huì)或可能不會(huì)考慮，但實(shí)質(zhì)上它并不像HTTP 301重定向那樣強(qiáng)制指令（他們很容易遵循）。

同樣，它歸結(jié)為盡可能少的谷歌選擇。使用令人驚嘆的內(nèi)容強(qiáng)制執(zhí)行單個(gè)唯一的URL，并將先前存在的URL（例如，舊版本或多個(gè)版本）重定向到此（新）URL，您將不會(huì)遇到DC問題。

3.正確標(biāo)記

關(guān)于適當(dāng)加價(jià)是否以及為何重要的問題，有很多不同意見。我并沒有真正參與討論，但我堅(jiān)信干凈簡(jiǎn)單的標(biāo)記會(huì)有所幫助。這主要是因?yàn)槲艺娴牟幌朊半U(xiǎn)嘗試從站點(diǎn)中提取信息時(shí)爬蟲可能會(huì)出現(xiàn)“問題”。這也是我認(rèn)為做schema.org標(biāo)記是一件好事的原因：它可以幫助引擎（不僅是爬蟲）真正理解（部分）內(nèi)容并理解它?？傊?，要了解它的含義。

顯然，您必須考慮哪些信息可以并且想要提供給Google（以及其他人），但如果您不提供數(shù)據(jù)，他們會(huì)在其他地方獲取。所以一般來說，不要錯(cuò)過這個(gè)。它不僅僅是因?yàn)楦怀龅慕Y(jié)果而獲得更多的點(diǎn)擊率 - 順便說一句，這很棒 - 但是如果你將結(jié)構(gòu)化數(shù)據(jù)與rel =“author”和/或rel =“publisher”相結(jié)合效益更大?；旧螱oogle正在逐步理解并將經(jīng)過驗(yàn)證的實(shí)體分配給查詢集，您肯定不想錯(cuò)過這一點(diǎn)。在我看來，谷歌正在大規(guī)模地移動(dòng)到你需要成為給定實(shí)體的經(jīng)過驗(yàn)證的權(quán)限的點(diǎn)，因此將自動(dòng)受益于屬于該實(shí)體的所有長(zhǎng)尾流量 - 這很有意義，因?yàn)槭聦?shí)是谷歌每天都會(huì)看到大約20％的新查詢。