網(wǎng)站爬行第1天從哪里開(kāi)始
網(wǎng)站爬行，第1天：你從哪里開(kāi)始？
技術(shù)先進(jìn)的搜索引擎優(yōu)化SEO
當(dāng)你面對(duì)成千上萬(wàn)的技術(shù)SEO問(wèn)題時(shí)，知道從哪里著手是至關(guān)重要的。深圳網(wǎng)站制作的新網(wǎng)站上爬行的動(dòng)力，我引導(dǎo)你通過(guò)隔離的關(guān)鍵問(wèn)題迅速處理。

當(dāng)你面對(duì)一個(gè)大型網(wǎng)站可能存在的成千上萬(wàn)個(gè)潛在問(wèn)題時(shí)，你從哪里開(kāi)始？這是我們重建站點(diǎn)爬行時(shí)要解決的問(wèn)題。答案幾乎完全取決于你的站點(diǎn)，并且需要對(duì)它的歷史和目標(biāo)有深刻的了解，但是我想概述一個(gè)可以幫助你減少噪音并開(kāi)始的過(guò)程。

簡(jiǎn)單化可能是危險(xiǎn)的。

以前，我們要試圖標(biāo)簽每個(gè)問(wèn)題為高，中，或低優(yōu)先級(jí)。這種簡(jiǎn)單化的方法可能會(huì)吸引人，甚至令人欣慰，你可能會(huì)想知道我們?yōu)槭裁匆x開(kāi)它。這是一個(gè)非常有意識(shí)的決定，它歸結(jié)為幾個(gè)問(wèn)題。

首先，優(yōu)先次序很大程度上取決于你的意圖。曲解你的意圖會(huì)導(dǎo)致糟糕的建議，從迷惑到徹底的災(zāi)難性的范圍。讓我們說(shuō)，例如，我們雇用了一個(gè)全新的SEO在莫桑比克他們看見(jiàn)下面的問(wèn)題數(shù)彈出：

幾乎35000 noindex標(biāo)簽嗎？那孩子們呢？！！

如果新的搜索引擎優(yōu)化然后匆忙刪除這些標(biāo)簽，他們會(huì)做很多的損害，而不是意識(shí)到，絕大多數(shù)的指示是故意的。我們可以使我們的系統(tǒng)更聰明，但他們不能理解你的想法，所以我們要小心誤報(bào)。

第二，對(duì)敲問(wèn)題的優(yōu)先級(jí)不幫助你理解的性質(zhì)，這些問(wèn)題或者如何去改正。我們現(xiàn)在將站點(diǎn)爬行問(wèn)題分類(lèi)為五種描述性類(lèi)型中的一種：

臨界爬行問(wèn)題

履帶式的警告

重定向問(wèn)題

元數(shù)據(jù)問(wèn)題

內(nèi)容的問(wèn)題

按類(lèi)型分類(lèi)使你更具戰(zhàn)術(shù)性。例如，我們新的“重定向”類(lèi)別中的問(wèn)題將有更多的共同點(diǎn)，這意味著它們可能有共同的修復(fù)。最終，幫助你發(fā)現(xiàn)

1。從關(guān)鍵爬蟲(chóng)問(wèn)題開(kāi)始

這并不是說(shuō)一切都是主觀的。一些問(wèn)題阻礙爬蟲(chóng)（不只是我們的，但搜索引擎）到您的網(wǎng)頁(yè)在所有。我們已經(jīng)將這些“關(guān)鍵履帶問(wèn)題”進(jìn)入我們的第一類(lèi)，和他們目前包括5xx 4xx錯(cuò)誤，錯(cuò)誤，和重定向到4xx。如果你在錯(cuò)誤的5xx突然上升，你要知道，幾乎沒(méi)有人故意重定向到一個(gè)404。

您將看到整個(gè)站點(diǎn)爬行界面中突出顯示的關(guān)鍵爬蟲(chóng)問(wèn)題：

尋找紅色警報(bào)圖標(biāo)快速發(fā)現(xiàn)關(guān)鍵問(wèn)題。首先解決這些問(wèn)題。如果一個(gè)頁(yè)面不能被抓取，那么其他爬蟲(chóng)類(lèi)問(wèn)題都是沒(méi)有實(shí)際意義的。

2。平衡問(wèn)題與流行

當(dāng)涉及到解決您的技術(shù)SEO問(wèn)題，我們也必須平衡嚴(yán)重性與數(shù)量。知道什么您的網(wǎng)站，我會(huì)說(shuō)404的誤差可能是值得解決之前重復(fù)的內(nèi)容-但如果你有十一404s和17843重復(fù)的網(wǎng)頁(yè)？你的優(yōu)先事項(xiàng)突然變得非常不同。

在工地爬回家的底部，查看“MOZ建議修復(fù)”：

我們已經(jīng)為你們做了一些數(shù)學(xué)運(yùn)算，以問(wèn)題的普遍性來(lái)衡量緊迫性。這確實(shí)需要一些關(guān)于優(yōu)先級(jí)的假設(shè)，但是如果你的時(shí)間有限，我們希望它至少能給你一個(gè)快速的切入點(diǎn)來(lái)解決幾個(gè)關(guān)鍵問(wèn)題。

3.解決多頁(yè)面問(wèn)題

處理高計(jì)數(shù)問(wèn)題還有另一個(gè)好處。在很多情況下，你可以用一個(gè)固定的方法來(lái)解決成百上千頁(yè)的問(wèn)題。這是一個(gè)更戰(zhàn)術(shù)的方法可以節(jié)省你很多時(shí)間和金錢(qián)。

讓我們說(shuō)，例如，我想挖到我的916頁(yè)MOZ.com失蹤的meta描述。我立即注意到，這些頁(yè)面中有些是博客帖子類(lèi)別。所以，我通過(guò)URL過(guò)濾：

我可以很快看到，這些頁(yè)面占了我丟失的描述的392——其中的43%。如果我關(guān)心這個(gè)問(wèn)題，那么我很可能用一個(gè)相當(dāng)簡(jiǎn)單的CMS頁(yè)面來(lái)解決它，用幾行代碼來(lái)消除幾百個(gè)問(wèn)題。

在不久的將來(lái)，我們希望為您做一些分析，但是如果過(guò)濾不起作用，您也可以將任何問(wèn)題列表導(dǎo)出到CSV。然后，旋轉(zhuǎn)和過(guò)濾你的心的內(nèi)容。

4。用深度和爬行深度潛入頁(yè)面

如果你不容易發(fā)現(xiàn)清晰的模式，或者如果你已經(jīng)解決了一些大問(wèn)題，接下來(lái)呢？如果你知道這些URL是重要的，那么一次只解決一個(gè)URL上的成千上萬(wàn)個(gè)問(wèn)題是值得的。

幸運(yùn)的是，現(xiàn)在可以用Page Authority（PA）排序和站點(diǎn)爬行中的爬行深度排序。PA是我們自己的排序能力的內(nèi)部度量（主要是由鏈接資產(chǎn)驅(qū)動(dòng)），而爬行深度是頁(yè)面與主頁(yè)的距離：

在這里，我可以看到，在我們的mozbar網(wǎng)址有一個(gè)重定向鏈，這是一個(gè)很高的權(quán)威頁(yè)面。這可能是一個(gè)值得修復(fù)的問(wèn)題，即使它不是一個(gè)明顯的更大的群體的一部分。

5。注意新問(wèn)題中的尖峰

最后，隨著時(shí)間的推移，你也要對(duì)新問(wèn)題保持警惕，特別是當(dāng)它們出現(xiàn)時(shí)。這可能預(yù)示著突然的、潛在的破壞性變化。站點(diǎn)爬行現(xiàn)在可以輕松跟蹤新問(wèn)題，包括警報(bào)圖標(biāo)、圖表，以及按類(lèi)別快速總結(jié)新問(wèn)題：

任何抓取都會(huì)發(fā)現(xiàn)一些新頁(yè)面（內(nèi)容機(jī)器從不休息），但是如果你突然看到一個(gè)單一類(lèi)型的數(shù)百個(gè)新問(wèn)題，重要的是快速挖掘并確保沒(méi)有錯(cuò)誤。在一個(gè)完美的世界里，SEO團(tuán)隊(duì)總是知道其他人和團(tuán)隊(duì)對(duì)網(wǎng)站做出了什么改變，但我們都知道這不是一個(gè)完美的世界。