Screaming Frog (SF)是用作SEO優(yōu)化工具。頁面優(yōu)化On-page Optimization 的工具一般是要和網(wǎng)站平臺配合，例如 WordPress SEO上使用的Yoast SEO插件。有些問題是要網(wǎng)站整體來看才發(fā)現(xiàn)，又或者整體看才能有效改善。例如：是否有重復(fù)內(nèi)容？如重復(fù)的標題、中繼描述 Meta Description、中繼關(guān)鍵字 Meta Keywords 等等。搜尋引擎優(yōu)化應(yīng)該從審計當前網(wǎng)站狀態(tài)開始，需要利用不同的優(yōu)化工具，例如：

利用 Google analytics 查看訪客的互動情況和用戶體驗。

利用 Search Console 查看搜尋關(guān)鍵字的排名和曝光。

利用 SF 掃描網(wǎng)站查看跨頁面的網(wǎng)站結(jié)構(gòu)性和內(nèi)容問題。免費版本只限掃描 500 頁，你可以輸入目錄將掃描專注在某分類或子目錄的頁面。下面是一些舉例：

Table of Contents

重定向問題

有些錯誤是人眼不可能發(fā)現(xiàn)，必需以機械人身份訪問才可發(fā)現(xiàn)。瀏覽器訪問送回的狀態(tài)碼 Status Code 提示是否正常，例如本應(yīng)是 301 (永久) 的重定向被錯誤設(shè)定為 302 (臨時) 等等。您需要檢查以下轉(zhuǎn)址是否都轉(zhuǎn)址同一URL。一個非常常見的SEO錯誤是將以下URL視為獨立的，而不是正確使用 301 重定向到單個地址。使用SF SEO爬行工具，你可以很容易地發(fā)現(xiàn)這些錯誤。

non-WWW

WWW

HTTP://

HTTPS://

又或者 404 (頁面不存在)錯誤問題，表示一些內(nèi)部頁面已被刪除或更改了URL。有時您會將舊網(wǎng)址重定向到新網(wǎng)址，以避免 404 錯誤，但過度重定向可能導(dǎo)致重定向鏈。例如：A 重定向到 B，B 重定向到 C，C 再次重定向到 A。你亦可以在directive下?lián)煲曀饕龁栴}。例如：有些單薄的內(nèi)容不希望搜尋引擎索引時可能設(shè)定為noindex,可能引起競食Cannibalization問題的內(nèi)容是否已使用 rel=”canonical” 等等。

重復(fù)的內(nèi)容

進行頁面優(yōu)化專注個別頁面時你未必會發(fā)現(xiàn)標題，中繼描述 Meta Description 等原來已經(jīng)用過。重復(fù)內(nèi)容Duplicated Content不一定引起問題，但是差不多一定影響搜尋引擎對內(nèi)容質(zhì)量的評分。利用SF SEO爬行工具做一個描述，你可以看到當前狀況以便進行改善。

網(wǎng)頁標題除了不應(yīng)重復(fù)外，太長或太短亦不好。一般搜尋引擎可以有空間列出六七十個英文字的標題，標題太長的會被剪裁。標題太短的又失卻提供誘因別搜尋者點擊的作用。標題長度無一定的字數(shù)標準，中文和英文長度算法又不同，其實是由于搜尋引擎所用的比例字體 Proportional Font, 不同英文字符的闊度所構(gòu)成的差異。同樣的道理可適用于衡量中繼描述 。

用戶體驗

在Internal下可以找到一些關(guān)乎用戶體驗的數(shù)據(jù)，例如：文章長度、文章字數(shù)、文字對應(yīng) HTML 語法標簽比例、爬行深度、出站連接數(shù)量等等。

Screaming Frog 爬行深度 Crawl Depth

例如主頁要無需從爬行其他頁面才發(fā)現(xiàn)，所以爬行深度是零。從主頁指向的網(wǎng)頁就是1，如此類推。爬行深度太深，表示訪問用戶很難接觸到該頁面，自然不利曝光和搜尋引擎優(yōu)化。此情況常見于分類頁，分類內(nèi)容太多時只能以 <上一頁> <下一頁> 不斷后移。如果分類頁下有 1000怗子，每次只顯示10頁的摘要。最后的10頁需要100次點擊才能顯示！改善的方法是加入其他內(nèi)部連接，例如相關(guān)文章。