上周為站長朋友們獻(xiàn)出了VIP大講堂上海站中關(guān)于SPIDER抓取建庫方面的QA內(nèi)容,本周繼續(xù)將解析方面的QA內(nèi)容奉上。
問:我們的頁面本身就很大,會不會解析不出來?
答:頁面本身很大倒沒問題,趕集、安居客這些量都很大,沒有問題。我剛才說的例子,你每次都follow出來新鏈接,隨機把后面的參數(shù)去掉都不影響這個網(wǎng)頁的正常訪問,這種肯定有問題的。
問:剛才說對URL的長度有要求,那對每一段、就是目錄名的長度有沒有要求
答:沒有要求,我們是要求url從www開始到結(jié)束,總長度不超過1024個字節(jié)。
問:站內(nèi)重復(fù)內(nèi)容是怎么判斷的?文本內(nèi)容一樣結(jié)構(gòu)不一樣,算不算重復(fù)?
答:算重復(fù)
問:假設(shè)是整個頁面全是Flash,如果我把一些欄目或者最新的內(nèi)容隱藏掉,不影響美觀隱藏掉,如果用hidden屬性能不能提取出來?CSS可不可以?
答:hidden可以提出來,但如果是注釋就不會管。CSS不可以。
問:頁面大小不超過1兆,是指頁面壓縮以前還是以后。
答:指頁面壓縮以后,不要超過1兆
問:我網(wǎng)站的信息已經(jīng)過時了,但網(wǎng)頁返回的是200,會受懲罰?為什么呀?
答:用戶在搜索結(jié)果里點了你的結(jié)果,導(dǎo)流導(dǎo)到你的網(wǎng)站,但沒什么可看的,對用戶沒有用,百度當(dāng)然不喜歡。
問:現(xiàn)在我們很多網(wǎng)站,為了讓用戶覺得有意思,內(nèi)容沒了就放一張圖片,寫一些有意思的話,什么“工程師去哪啦”之類的,對百度友好不?
答:最好不要用,我知道站點是想讓百度當(dāng)內(nèi)容死鏈來識別,但內(nèi)容死鏈識別起來是有準(zhǔn)確率和召回率風(fēng)險的。
問:我們團(tuán)購網(wǎng)站的確會有過期團(tuán)購的頁面,會受懲罰嗎
答:如果量特別大、點擊量很大的話肯定會有懲罰的。有些可以當(dāng)內(nèi)容死鏈被分析出來,如果分析不出來,會被一些其他的策略挖出來,會有這樣的問題。
問:剛才說資訊內(nèi)容頁面,上面有個發(fā)布時間好,那如果頁面上沒有時間呢?
答:那我們往往是按當(dāng)時抓取的時間來做判定。
問:評論里面時間重要嗎。
答:百度更重視主體內(nèi)容的時間,評論不算主體內(nèi)容。
問:我們是個平臺,很多產(chǎn)品其實只是一個型號變更了,其實顏色都是一模一樣的,對蜘蛛而言僅僅只是幾個字符,會被識別為重復(fù)嗎
答:如果是一個產(chǎn)品的結(jié)構(gòu)化信息的話,應(yīng)該不會被認(rèn)為是重復(fù)。如果你是簡單內(nèi)容摘要的方式進(jìn)行介紹的話,可能會存在重復(fù)問題。
問:靜態(tài)URL和動態(tài)URL區(qū)別大嗎?
答:不大,我們現(xiàn)在認(rèn)為靜態(tài)和動態(tài)都一樣的,因為從url上面他能夠識別出來,但是抓取回來的東西不太一樣。所以現(xiàn)在認(rèn)為無論你是靜態(tài)還是動態(tài),我們都認(rèn)為同樣都是url來對待。
轉(zhuǎn)載請保留原文地址: http://m.448gfe.cn/show-363.html