網(wǎng)站地圖Sitemap的作用是提供輔助資訊給搜尋引擎進(jìn)行索引 (例如個別 Universal Resource Identifier (URI) 資源的更新頻率 、最后更新日期等等)。網(wǎng)站地圖的作用和結(jié)構(gòu)是很容易理解，做法一般看起來很簡單。就是將網(wǎng)站進(jìn)行一次全面的爬行 (例如用 ScreamingFrog 工具)， 將所有的 URI 都放在網(wǎng)站地圖 XML 檔案里面。但事實并不是那么簡單，例如你的網(wǎng)站 URI 可以很多種類：文章、帖子、產(chǎn)品、作者、圖片、 視頻、 分類、標(biāo)簽、portfolio 等等。你當(dāng)然可以要求全部 URI 都放在網(wǎng)站地圖里面。但放與不放其實是一個質(zhì)量的考慮，例如 portfolio 內(nèi)是你的一些客戶實例，但內(nèi)容只有一張圖片。這張圖片基本上以圖像URI 的形式已經(jīng)加到索引數(shù)據(jù)庫中，再索引這個portfolio的意義不大，因為其實是一個剪薄內(nèi)容thin content, 在這種情況下你應(yīng)該選擇不索引這portfolio, 為什么這？

何時選擇不索引

內(nèi)容淺薄。一般都相信搜尋引擎對網(wǎng)站是有一個質(zhì)量評分Quality Score。質(zhì)量評分很可能是來自各個被索引的URI的質(zhì)量計算，所以一些質(zhì)量低單薄的內(nèi)容可能會將整體網(wǎng)站的質(zhì)量評分拖低，所以就有盡可能不索引一些淺薄的內(nèi)容的說法。淺薄的內(nèi)容一般無法在搜尋引擎排名中取得高位，只能在訪客進(jìn)入網(wǎng)站以后透過內(nèi)部的結(jié)連訪問得到，所以不索引淺薄的內(nèi)容對吸引自然搜尋流量是沒有負(fù)面影響。既然搜尋引擎索引網(wǎng)站的內(nèi)容是要消耗crawl budget 爬行預(yù)算， 所以不索引一些沒有排名價值的內(nèi)容，是善用爬行預(yù)算，增加質(zhì)量評分的手段。

一些專業(yè)的建立網(wǎng)站地圖的工具，例如WordPress上面的Yoast SEO 插件，就可以讓你自由設(shè)定當(dāng)建立網(wǎng)站地圖時，是否要加入不同類型的URI。

甚至你可以在個別的頁面決定是否索引該頁面，做法就是將頁面定義為 content=”noindex”。

除了質(zhì)量的考慮，很多時候為了防范黑客入侵，不想將太多的網(wǎng)站結(jié)構(gòu)性資料曝光在搜尋用戶面前。你可以透過robots.txt提示搜尋引擎不要索引網(wǎng)站內(nèi)的一些目錄，避免一些敏感資料可能在不經(jīng)意的情況下被搜尋引擎取得到而暴露在黑客的面前。 同時亦可善用爬行預(yù)算。

另一個原因不索引是考慮到cannibalization 關(guān)鍵字競食的問題。當(dāng)兩個內(nèi)容非常相近的url 同時被收錄到索引資料庫，對搜尋引擎可能會造成混亂:究竟當(dāng)關(guān)鍵字搜尋查詢時該列出a 頁還是b頁？很多blogger新手誤解標(biāo)簽和分類的用法，將標(biāo)簽和分類都標(biāo)示為同一個關(guān)鍵字，這樣其實也造成了關(guān)鍵字競食的問題。但如果這個B頁URL是沒有排名價值，但在訪客立場是一個熱門瀏覽的網(wǎng)頁，只是瀏覽是透過內(nèi)部結(jié)連所引發(fā)。這個時候不單純是不索引，更應(yīng)該將訪問瀏覽可能帶來的排名優(yōu)勢歸到A 頁。這亦是Yoast SEO插件標(biāo)準(zhǔn)網(wǎng)址 Standard URL的用法。

檢查索引狀態(tài)

你如何知道某URL是否比索引。你可以在Google Search Console (GSC) 的后臺輸入URL然后 (選 “網(wǎng)址審查”)，查詢是否被索引了。當(dāng)發(fā)現(xiàn)內(nèi)容不被索引時你可以要求Google進(jìn)行單獨索引該URL 。

你可以在搜尋頁面輸入一個site指令，看看你整個網(wǎng)站有多少頁面已經(jīng)被放在索引資料庫中。搜尋引擎有時會為同一個url的不同版本保留索引資料，特別是當(dāng)這個改動只是在元標(biāo)題 meta title和元描述meta description中時。 保留索引資料的做法是對配對用戶搜尋查詢時有更多的選擇。

當(dāng)你發(fā)現(xiàn)索引資料庫中的項目數(shù)量比你整個網(wǎng)站的頁面和產(chǎn)品的總和都多很多，就可能表示是由于一些URL 參數(shù)(例如產(chǎn)品篩選) 所衍生出來的網(wǎng)址。數(shù)量太多表示爬行預(yù)算會受到影響，你應(yīng)該采取行動，例如在GSC中將該參數(shù)排除。

URL不被索引的可能

如果你的網(wǎng)站很大。索引可能需要時間。如果您發(fā)現(xiàn)某些URL尚還沒有編入索引則是合理的。有幾種情況下URL可能不被索引：

·例如當(dāng)搜尋引擎發(fā)現(xiàn)類似的內(nèi)容已經(jīng)被加入到索引資料庫里面。最常見的例子就是產(chǎn)品的描述是一模一樣，例如你將同一件衣服大中小碼變成三個不同的產(chǎn)品，搜尋引擎就可能只索引其中一件產(chǎn)品，另外兩個搜尋引擎會看成重復(fù)的內(nèi)容不索引。

 技術(shù)性問題。例如當(dāng)你采用一些特別的技術(shù)如 AMP網(wǎng)頁技術(shù)時，當(dāng)搜尋引擎發(fā)現(xiàn)一些網(wǎng)頁的內(nèi)部問題不符合技術(shù)規(guī)格時，就可能決定不索引這個網(wǎng)頁然后回報錯誤，你需要在GSC 后臺查看錯誤，修正問題然后再重新提交 URL。

搜尋引擎索引速度

雖然你可以在網(wǎng)站地圖之中告訴搜尋引擎URL更新頻率，但這并不表示搜尋引擎會根據(jù)您提供的信息，更頻密訪問您的網(wǎng)站 。搜尋引擎決定是否在進(jìn)行索引是考慮先前索引你網(wǎng)站時所發(fā)現(xiàn)的優(yōu)質(zhì)內(nèi)容有多少和更新有多少。當(dāng)越多優(yōu)質(zhì)內(nèi)容網(wǎng)站更新越頻密，搜尋引擎自然會更多訪問你的網(wǎng)站進(jìn)行索引。索引的速度快慢不是你付錢給搜尋引擎公司可以改變的。