久久亚洲天堂_亚洲四区_日韩精品久久久_欧美精品1_91电影在线观看_99er视频

當前位置: 聯(lián)商論壇 -  博文選編 -  貼子
3904  |  1

主題:百度蜘蛛Baiduspider User-Agent字段更新與IP判斷

baobibo

積分:9275  聯(lián)商幣:2066
  |   只看他 樓主
來自百度站長俱樂部的消息:百度網(wǎng)頁搜索spider(也就是大家俗稱的百度爬蟲、百度蜘蛛)的User-Agent字段內(nèi)容于2011年5月10日更新。查看網(wǎng)站日志時會發(fā)現(xiàn),以前baiduspider在爬取網(wǎng)頁時,發(fā)送請求的User-Agent字段是這樣的:

Baiduspider+(+http://www.baidu.com/search/spider.htm)

更新后的baiduspider User-Agent字段內(nèi)容內(nèi)容為:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Baiduspider User-Agent的更新,對于一般網(wǎng)站是沒什么影響的,因為一般的網(wǎng)站都沒有屏蔽百度蜘蛛,所以你不需要做任何修改;如果你通過robots.txt文件屏蔽了百度蜘蛛,也不需要做任何修改,因為百度蜘蛛名稱依然是Baiduspider沒變;如果你此前主動在服務器端封禁了百度網(wǎng)頁搜索的User-Agent,那么建議修改服務器端要封禁的User-Agent字段,或者更換為robots封禁。

不知道Baiduspider User-Agent的更新,會不會讓百度爬蟲更加高效、百度的排名機制更加完善。做SEO的人知道,百度搜索的技術與Google不可同日而語,百度蜘蛛的低效、排名機制的不完善,讓各位站長和SEOer傷透了腦筋!但是如果做中文站的話,百度的排名是必須要考慮的問題,因為百度在中文搜索領域已經(jīng)幾乎處于壟斷地位了!
 
百度各個產(chǎn)品使用不同的user-agent:
產(chǎn)品名稱
對應user-agent
無線搜索
Baiduspider
圖片搜索
Baiduspider-image
視頻搜索
Baiduspider-video
新聞搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度聯(lián)盟
Baiduspider-cpro
商務搜索
Baiduspider-ads
網(wǎng)頁以及其他搜索
Baiduspider

有冒充百度蜘蛛抓取的情況,如何判斷呢?
可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。
打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
回頂部

  快速回復 高級回復
用戶名:   密碼:   [注冊]
[Ctrl+Enter直接提交帖子]  



網(wǎng)站簡介 | 聯(lián)系我們 | 法律聲明

ICP證:浙B2-20070104

主站蜘蛛池模板: 看毛片电影 | 国产精选久久久 | 日本成人一区二区三区 | 精品中文字幕久久久久四十五十骆 | 国产一级毛片a | 国产一区二区精品免费 | 日本爽快片100色毛片视频 | 日韩欧美视频一区二区三区 | 久久精品女人天堂av | 在线观看国产网站 | 日本网站在线看 | 成人毛片在线免费观看 | 国产精品7区 | 免费福利在线视频 | 国产成人精品一区二区视频免费 | 久久福利剧场 | 亚洲成人中文字幕在线 | 久久人添人人爽人人爽人人片av | 国产二区三区在线播放 | 蜜桃一本色道久久综合亚洲精品冫 | 高清视频91 | 欧美精品电影一区二区 | 一级黄色免费大片 | 精品亚洲夜色av98在线观看 | 一级精品 | 精品午夜影院 | 男人的天堂视频网站 | 午夜爽爽爽男女免费观看hd | 久久99国产精品久久99果冻传媒 | 国产精品一区2区3区 | 天天操天天插天天干 | 一区二区三区欧美视频 | 羞羞视频免费入口网站 | 日本特级a一片免费观看 | 久久久久久久久浪潮精品 | 亚洲精品成人在线视频 | 久久综合给合久久狠狠狠97色69 | 日韩精品一区不卡 | 欧美综合在线观看 | 九九热九九爱 | 国产伦久视频免费观看视频 |