Baiduspider-render/2.0是百度渲染蜘蛛!百度渲染蜘蛛是什么?第一次聽到這個(gè)詞是不是很神奇,其實(shí)這個(gè)詞早在2017年就已經(jīng)出現(xiàn)了,百度渲染蜘蛛(Baiduspider-render)是百度專門用來抓取網(wǎng)頁上的CSS、Javascript代碼的蜘蛛U(xiǎn)A,通常被俗稱為高級爬蟲。
百度高級爬蟲UA匹配的IP段:111.206.221.* ,111.206.198.*,兩個(gè)IP段經(jīng)常同時(shí)出現(xiàn)。
Baiduspider-render的出現(xiàn)是百度為了給搜索用戶更好的體驗(yàn)、對站點(diǎn)實(shí)現(xiàn)更好地索引和呈現(xiàn),百度渲染蜘蛛訪問網(wǎng)站的CSS、Javascript和圖片信息,以便更精準(zhǔn)地理解頁面內(nèi)容,實(shí)現(xiàn)搜索結(jié)果最優(yōu)排名,百度搜索會全面啟用最新UA來訪問站點(diǎn)的上述資源。
從2017年3月24日開始,百度搜索就抽取了部分優(yōu)質(zhì)站點(diǎn)進(jìn)行抓取內(nèi)測,可能會對站點(diǎn)服務(wù)器造成一定壓力影響,請盡量不要對UA進(jìn)行封禁,以免造成不可逆轉(zhuǎn)的損失。
2017年百度官方提供最新UA如下:
PC:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移動(dòng):Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
聽百度官方的文檔描述,對優(yōu)質(zhì)站點(diǎn)進(jìn)行抓取內(nèi)測,這個(gè)是隨機(jī)選取高質(zhì)量站點(diǎn),原因是什么呢?
1、高質(zhì)量站點(diǎn)內(nèi)容豐富,包含css、js、圖片等,便于蜘蛛抓取和理解;
2、高質(zhì)量站點(diǎn)服務(wù)器好,因?yàn)檫@個(gè)高級爬蟲數(shù)量大,一般小站點(diǎn)會導(dǎo)致站點(diǎn)不穩(wěn)定;
推推蛙總結(jié):百度渲染蜘蛛是百度想要理解網(wǎng)頁中css、js、圖片中的信息,之前百度是無法識別js的,百度一直在朝著可以理解js文件和圖片描述的信息,這樣便于更好地制定新的排名算法和更好地提升用戶體驗(yàn)。