新網(wǎng)站抓取更多頁面的問題

新網(wǎng)站抓?。褐亟ㄕ业礁嗟膯栴}更多的頁面，比以往任何時候都快！
截至今天，深圳網(wǎng)站制作已經(jīng)重新對所有的客戶站點爬行！無論是前端和后端都完全重建，新的功能，以幫助您解決您的所有技術(shù)的SEO問題。

首先，好消息是新網(wǎng)站抓取更多頁面的問題，都要支持客戶訪問網(wǎng)站抓取的新版本，我們完全重建深的網(wǎng)站爬蟲技術(shù)SEO審計平臺。壞消息？什么都沒有。它更大，更好，更快，你不會支付額外的錢。

雖然你已經(jīng)使用了我們現(xiàn)有的網(wǎng)站爬行，但你知道它并不總是符合你的期望。事實是，它還沒有達(dá)到我們的。一年多前，我們著手重建后端履帶，但我們很快意識到，我們想要的是一個完全重新想象的履帶式，正面和背面，具有最好的功能，我們可以提供。今天，我們推出了第一個版本的新的履帶式。

代號：Aardwolf

后端是全新的。我們完全重建的“土狼”引擎爬行快一倍，而挖得更深。對于較大的賬戶，它可以支持多達(dá)十個并行爬蟲，高達(dá)20X的老爬蟲實際速度。土狼也完全支持SNI網(wǎng)站（包括CloudFlare），糾正我們的老爬蟲的主要缺點。

查看/搜索*所有*網(wǎng)址

我們的舊爬蟲的一個主要限制是，你只能看到已知的問題頁面。點擊“所有爬行網(wǎng)頁”在新的爬蟲，你將被帶到我們在你的網(wǎng)站爬行的最后一個抓取周期的每一個網(wǎng)址列表：

您可以按狀態(tài)碼，總問題，Page Authority（PA），或抓取深度排序此列表。您也可以過濾URL，狀態(tài)碼，或是否有已知的問題頁面。例如，讓我們說，我只是想看看所有的頁面爬MOZ.com在“博客”目錄…

我只是點擊【+】，選擇“URL”輸入“/博客，“我在路上。

你喜歡自己的數(shù)據(jù)切片和骰子嗎？您可以導(dǎo)出您的整個爬行到CSV，額外的數(shù)據(jù)，包括每頁取時間和重定向目標(biāo)。

立即重新抓取你的網(wǎng)站

有時候，你不能等待一個星期的一個新的爬行。也許你發(fā)布你的網(wǎng)站或取得了重大的變化，你就知道這些變化是否是工作。沒問題，只要點擊“抓取我的網(wǎng)站在網(wǎng)站爬行段的任何頁面的頂部，您將在您的方式…

從我們的介質(zhì)層，你將獲得每月10 recrawls，除了你的每周自動抓取。當(dāng)賭注很高，或者你在嚴(yán)格的最后期限為客戶審查，我們明白，等待只是不是一個選項。抓取允許您驗證您的修復(fù)是成功的，讓你爬的報告。

忽視個人問題

由于多年來許多客戶提醒我們，技術(shù)SEO不是一一大小適合所有的任務(wù)，什么是關(guān)鍵的一個網(wǎng)站是幾乎沒有滋擾另一個。例如，讓我說我不關(guān)心一些過于動態(tài)的網(wǎng)址（對于許多網(wǎng)站來說，這是一個小問題）。與新網(wǎng)站爬行，我只能選擇這些問題，然后“忽略”他們（見綠色箭頭位置）：

如果你犯了錯誤，不用擔(dān)心-你可以管理和恢復(fù)忽略的問題。我們還將繼續(xù)跟蹤任何新的問題，隨著時間的推移彈出。只是因為你不在乎今天的事情并不意味著你不需要知道它一個月后。

固定重復(fù)的內(nèi)容

在“內(nèi)容問題”下，我們推出了一個全新的重復(fù)內(nèi)容檢測引擎和一個更好的，更清潔的用戶界面來瀏覽內(nèi)容。重復(fù)的內(nèi)容現(xiàn)在自動聚集，我們盡我們所能始終如一地檢測“父”頁。這是從MOZ.com樣本：

您可以查看受影響的頁面總數(shù)，重復(fù)，和爬行深度，可以通過URL過濾。點擊箭頭（右欄）的所有頁面在集群（如截圖）。單擊當(dāng)前表行中的任何位置，獲取完整的配置文件，包括我們發(fā)現(xiàn)的鏈接源頁。

優(yōu)先快速和戰(zhàn)術(shù)

優(yōu)先技術(shù)SEO問題需要深入了解一個網(wǎng)站。過去，為了簡單起見，我擔(dān)心我們誤導(dǎo)了你們中的一些人。我們試圖給每一個問題一個優(yōu)先級（高，中，或低），當(dāng)困難的現(xiàn)實是什么是一個網(wǎng)站上的主要問題可能是故意和有用的另一個。

隨著新的網(wǎng)站抓取，我們決定將抓取的內(nèi)容從戰(zhàn)術(shù)上講，使用五桶：

臨界爬行問題

履帶式的警告

重定向問題

元數(shù)據(jù)問題

內(nèi)容的問題

希望你已經(jīng)猜到其中的一些包含。關(guān)鍵的問題還是反映出的問題，無論爬蟲首先大多數(shù)網(wǎng)站，如5xx錯誤重定向到404s。履帶警告表示可能的一些網(wǎng)站是很重要的問題，但需要更多的上下文，如meta noindex。

優(yōu)先級往往取決于范圍，太。所有其他都是相等的，一個500錯誤可能比一個重復(fù)頁更重要，但是10000個重復(fù)頁是不同的事。轉(zhuǎn)到底部的網(wǎng)站抓取概述頁，我們試圖平衡優(yōu)先級和范圍，以目標(biāo)你的前三個問題來修復(fù)：

向前邁進(jìn)，我們將推出更智能的優(yōu)先級，包括分組問題的文件夾，并添加數(shù)據(jù)可視化您已知的問題。優(yōu)先級是一項艱巨的任務(wù)，一個我們沒有幫助你做的，以及我們可以。我們將盡力改變。

新網(wǎng)站抓取更多頁面的問題潛入并告訴我們你的想法！

所有現(xiàn)有的客戶應(yīng)該有機(jī)會訪問新網(wǎng)站爬行截至今天早些時候。更好的是，我們已經(jīng)抓取現(xiàn)有活動，幾周的土狼的引擎，所以你有可用的歷史從一開始！敬請關(guān)注博客明天有效優(yōu)先網(wǎng)站抓取的內(nèi)容，一定要登記為即將舉行的研討會。