成人黄色影片免费观看,激情文学亚洲人人99精,六月婷婷久久伊人大久久

當前位置：100EC>信息圖>識別搜索引擎爬蟲真?zhèn)蔚姆椒\析

識別搜索引擎爬蟲真?zhèn)蔚姆椒\析

作者：來源：發(fā)布時間：2010年02月25日 09:59:35

(電子商務研究中心訊)　　相信不少網(wǎng)站對搜索引擎爬蟲都是又愛又恨，因為其中不僅有些爬蟲不守規(guī)矩，還有人冒充爬蟲對網(wǎng)站進行瘋狂的掃描。

　　做的比較好的爬蟲抓取頻率都比較合理，對網(wǎng)站資源消耗比較少，Google Spider會根據(jù)網(wǎng)頁的下載速度等因素進行抓取速度的動態(tài)調整，你可以通過Webmaster Tools來調整Spider的抓取速度。

　　Google_Webmaster_Tools_Settings

　　很多糟糕的網(wǎng)絡爬蟲，經常并發(fā)幾十上百個請求循環(huán)重復抓取。一個“爬蟲”先是將PageNo遞增到無窮大——被封，過了4個小時，“爬蟲”又回來了，這次程序倒是改進了不少，通過分析網(wǎng)頁內部的鏈接進行抓取，可是沒過多久發(fā)現(xiàn)總是抓取那幾個特定的頁面，原來被網(wǎng)頁內部鏈接套住，程序進入了死循環(huán)，只能封殺。

　　網(wǎng)上也出現(xiàn)了很多如何封殺惡意爬蟲的方法。常見的就是根據(jù)UserAgent中的標識進行識別封殺，但是道高一尺魔高一丈，接下來就有人偽造User-Agent，偽裝成各大搜索引擎的爬蟲進行抓取。

　　目前的做法是根據(jù)UserAgent進行判斷，如果是真正的搜索引擎爬蟲，那么就放過；如果發(fā)現(xiàn)是偽造的就堅決封殺。剩余的正常UserAgent的訪問則通過限制IP并發(fā)請求次數(shù)來限制。

　　那么問題就出現(xiàn)了，如何才能正確識別搜索引擎爬蟲的真?zhèn)?，其實一些大型的搜索引擎商都已經提供了相關的方法，那就是反向DNS驗證(Reverse DNS Lookup)。

　　拿Google Spider舉個例子：

　　Google：www.google.com/support/webmasters/bin/answer.py?answer=80553

　　Yahoo：http://www.ysearchblog.com/2007/06/05/yahoo-search-crawler-slurp-has-a-new-address-and-signature-card/

　　Bing(MSN)：cn.bing.com/community/blogs/search/archive/2006/11/29/search-robots-in-disguise.aspx

　　可喜可賀的是baidu的2個月前爬蟲也開始遵守這一“潛規(guī)則”，雖然沒有在任何網(wǎng)頁公開此消息，但經過測試，實際上是可行的。（編選：網(wǎng)經社）

浙江網(wǎng)經社信息科技公司擁有18年歷史，作為中國領先的數(shù)字經濟新媒體、服務商，提供“媒體+智庫”、“會員+孵化”服務；（1）面向電商平臺、頭部服務商等PR條線提供媒體傳播服務；（2）面向各類企事業(yè)單位、政府部門、培訓機構、電商平臺等提供智庫服務；（3）面向各類電商渠道方、品牌方、商家、供應鏈公司等提供“千電萬商”生態(tài)圈服務；（4）面向各類初創(chuàng)公司提供創(chuàng)業(yè)孵化器服務。

網(wǎng)經社“電數(shù)寶”電商大數(shù)據(jù)庫（DATA.100EC.CN，免費注冊體驗全庫）基于電商行業(yè)18年沉淀，包含100+上市公司、新三板公司數(shù)據(jù)，150+獨角獸、200+千里馬公司數(shù)據(jù)，4000+起投融資數(shù)據(jù)以及10萬+互聯(lián)網(wǎng)APP數(shù)據(jù)，全面覆蓋“頭部+腰部+長尾”電商，旨在通過數(shù)據(jù)可視化形式幫助了解電商行業(yè)，挖掘行業(yè)市場潛力，助力企業(yè)決策，做電商人研究、決策的“好參謀”。