如何診斷百度蜘蛛是否能夠正常抓取網(wǎng)站內(nèi)容
百度seo教程認(rèn)為很多網(wǎng)站因使用JavaScript代碼或框架結(jié)構(gòu)等問(wèn)題,不能被百度蜘蛛所抓取。這里進(jìn)行診斷也是為了防止蜘蛛來(lái)網(wǎng)站后,因?yàn)椴荒苷Wト《x開(kāi),導(dǎo)致網(wǎng)站收錄很差,快照不更新等問(wèn)題。
如果診斷結(jié)果有問(wèn)題,則需要修正問(wèn)題,提升與百度蜘蛛的友好度。
百度官方在線抓取診斷工具,選好網(wǎng)站(主頁(yè)或其他頁(yè)面)后,選擇PC UA 或者移動(dòng)UA,最后點(diǎn)擊“抓取”即可。
稍等片刻,刷新頁(yè)面會(huì)顯示“抓取成功”,或者失敗。可以點(diǎn)擊查看“抓取成功”或失敗的詳細(xì)信息。
1.1.7 如何通過(guò)百度蜘蛛IP得知網(wǎng)站狀態(tài)?
百度SEO教程認(rèn)為以下內(nèi)容僅供參考。
1)抓取你網(wǎng)站的網(wǎng)頁(yè)蜘蛛
60.172.229.61
61.129.45.72
61.135.162.*
2)百度競(jìng)價(jià)蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
3)百度統(tǒng)計(jì)的蜘蛛
61.135.186.*
4)站長(zhǎng)工具的模仿的百度蜘蛛
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
5)搜外站長(zhǎng)工具的模仿的百度蜘蛛
124.248.34.52
6)114站長(zhǎng)工具箱模仿的百度蜘蛛
119.147.114.213
121.10.141.*
7)百度圖片蜘蛛
123.15.**.**
8)抓取網(wǎng)站內(nèi)頁(yè)收錄的權(quán)重較低的非原創(chuàng),需要通過(guò)一段時(shí)間考察
123.125.71.*
9)站長(zhǎng)工具檢測(cè)造成的無(wú)用
125.90.88.*
10)百度考察期蜘蛛或降權(quán)蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107
11)偽裝百度蜘蛛
180.149.130.*
12)新站及站點(diǎn)有不正常現(xiàn)象
183.91.40.144
203.208.60.*
13)不間斷巡邏各站就是路過(guò)
210.72.225.*
14)沙盒或者有被K站
123.125.68.*
218.30.118.102
220.181.68.*
15)此ip爬過(guò)的文章或首頁(yè),絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照
220.181.108.*
16)百度蜘蛛IP來(lái)過(guò),準(zhǔn)備抓取
123.125.66.*
220.181.7.*
17)度過(guò)新站考察期
121.14.89.*
18)百度抓取首頁(yè)的專用IP,網(wǎng)站首頁(yè)快照更新快,隔夜更新
220.181.108.95
19)百度的權(quán)重IP段,抓取的文章第二天放出來(lái),權(quán)重較高
220.181.108.92
20)綜合性權(quán)重IP,抓取文章和首頁(yè),權(quán)重較高
220.181.108.91
220.181.108.75
21)抓取內(nèi)頁(yè)收錄的,但權(quán)重較低
123.125.71.95
123.125.71.97
123.181.108.77
123.125.71.106
22)抓取網(wǎng)站首頁(yè)的,也屬于權(quán)重段,權(quán)重較高。
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
220.181.108.83
220.181.108.86