JAVA技巧：Webharvest网络爬虫应用总结

会计考友

Web-Harvest是一个Java开源Web数据采纳工具。它能够收集指定的Web页面并年夜这些页面中提取有用的数据。其实现事理是，按照预先界说的设置装备摆设文件用httpclient获取页面的全数内容（关于httpclient的内容，本博有些文章已介绍），然后运用XPath、XQuery、正则表达式等这些手艺来实现对text/xml的内容筛选操作，拔取切确的数据。前两年斗劲火的垂直搜索（好比：酷讯等）也是采用近似的事理实现的。Web-Harvest应用，关头就是理解和界说设置装备摆设文件，其他的就是考虑怎么措置数据的Java代码。当然在爬虫起头前，也可以把Java变量填充到设置装备摆设文件中，实现动态的设置装备摆设。
6 P9 g) n5 q0 {+ G/ j8 ~　　此刻以爬取海角论坛的所有版面信息为例，介绍Web-Harvest的用法，出格是其设置装备摆设文件。
　　海角的版块地图页面时：http://www.tianya.cn/bbs/index.shtml
% E4 ~) I0 S) d7 o7 ?　　[海角的部门版面列表]
* e; V7 }0 t- F3 i1 o) f% B　　我们的方针就是要抓取全数的版可托息，搜罗版块之间的父子关系。
　　先查看版块地图的页面源代码，追求纪律：
% k/ f' }+ Q) g- k　　
　　
3 r( H1 r; [. g5 X5 x# J1 r4 W　　社会平易近生
% R1 w2 i0 [2 E
: J6 ]  l, I: R3 S1 m% a  G, ?% }
, {1 {7 o- E# v% d3 O+ h4 J  ~　　

　　

• 海角杂谈
  　　
  
• 国际不雅察看
  　　
  
• 海角时空
  　　
  
• 传媒江湖
  　　…… //省略
  4 P4 i' U3 M- N& W. G　　
  

4 K8 v3 T# D6 w1 V: g  x　　

　　

　　
( {2 m0 m2 \5 t; F
　　
' W+ S2 O+ ^7 @4 Q9 B$ I　　
　　文学念书

6 G' d. k& Z) }5 a6 B2 M
　　
# U( \* U, X5 f" N5 X

　　
) g/ j  o! j# R( A8 p# p
• 莲蓬鬼话
  　　
  0 H9 B/ d! K- c' [
• 煮酒论史
  4 X" q8 F; t( l3 G4 x　　
  
• 舞文弄墨
  　　……. //省略
  ( Y8 W7 Q# Y! m: A! `　　
  

1 y3 h; C6 M6 \) K　　

9 L, V/ `- ?' H" M& n7 e　　

; B, F) }; H5 Z　　
" R# q; Z# z" q0 E
　　……. //省略
; Z) I1 J% ^- W0 y　　经由过程页面源码剖析，发现每个年夜板块都是在
8 b* }! @' G, `! a的搜罗之下，而年夜板块下面的小版块都是下面的形式包含的。
, W4 y0 q0 m0 W3 h$ f, y　　xxx
，这些纪律就是webharvest爬数据的轨则。
　　下面先给出全数的设置装备摆设：(tianya.xml)
　　
8 C- N3 `! w+ H, q$ ^5 ~  c* n　　
  k( t* |' n5 |# Q　　
8 s& f* Q5 k0 ?' Q7 y" ^　　
5 k; Z! m1 y7 B8 l. I8 k+ h　　
　　
　　
8 H# M# H5 s% s* ^+ `2 K　　
- B7 C% D& ~6 l9 c) A　　
5 D1 S' D5 k0 O, p( Z1 L- R　　
　　
　　
　　 ]]>
　　
; {: {/ G; E# ^+ W6 C6 S　　
, v3 J! {! W3 `　　
　　
6 o( k/ P0 w4 J2 G7 a( G% b8 G- d　　
2 h' m" u7 r; I) m　　
　　
　　　　declare variable $item as node() external;

会计考友

　　
. H, ^$ Q* `7 o6 D. h# W1 I, ]6 j　　{
　　for $row in $item//li return
: r( a8 \) ]) s0 |2 v* P  V　　
2 Z9 M: h, t, B9 @7 v7 L　　}
　　
% P: d! P& M$ ?; T8 W　　]]>
　　
( ?* p! M* q. Y, b8 k" U/ m8 `7 y3 ~　　
3 z1 b! @+ ~. }3 t　　
8 M+ F: X7 r3 j  L2 ]/ v　　 ]]>
6 y) L/ U. @7 x5 O2 O5 J+ f　　
　　
' \. K8 [7 {' f, F% n　　这个设置装备摆设文件分为三个部门：
　　1. 界说爬虫进口：
　　
　　
　　
2 t' _# w- N* B　　
　　
+ Z/ \- \+ X/ q0 [/ I9 i4 Y　　爬虫的进口URL是：http://www.tianya.cn/bbs/index.shtml
　　同时，指定了爬虫的爬数据的编码，这个编码应该按照具体的页面编码来定，例如膳缦沔的进口页面的编码就是utf-8。其实，有良多的中文页面的编码是gbk或者gb2312，那么这个处所的编码就要响应设置，否则会呈现数据乱码。
　　2. 界说数据的过滤轨则：
　　
" T" a1 ?( r# Y: z$ l  H　　
; |5 Q- }* j. z( U. K4 ^' C　　
　　
8 B: c0 q3 m  j/ Y　　
　　膳缦沔设置装备摆设就是按照XPath年夜爬得的数据中筛选合适的内容。这里需要获得所有的
信息。有关XPath和XQuery的语法请网上发芽。
: s) }! ]( E5 F3 S　　3. 最后一步就是措置数据。可以写入XML文件，也可以使用SetContextVar的体例把收集的数据塞到一个集结变量中，供Java代码挪用（好比：数据直接入库）。
! O1 }* S1 ^. k3 _3 M  s  u　　这里是直接写入XML文件，然后解析XML即可。
* M1 t/ o8 \5 r% ]　　注重下面的for轮回，这是XQuery的语法，供给遍历的功能。因为年夜版面小版块是一个树状结构，需要这种遍历。
, I& B' X9 {; o5 _& R4 Y　　
　　{
　　for $row in $item//li return
　　
! x! J# }% U: X+ C0 U　　}
　　
　　相关的Java代码如下：
　　String configFile="tianya.xml";
　　ScraperConfiguration config = new ScraperConfiguration(configFile);
) Z# ~! Q& d# j" L/ \+ l　　String targetFolder="c:\chenxinhan";
　　Scraper scraper = new Scraper(config,targetFolder);
/ \7 M+ y4 n& l3 s; U$ S( V　　//设置爬虫代办代庖
; G  u" c0 `/ p8 |" f3 n9 b/ O　　scraper.getHttpClientManager().setHttpProxy("218.56.64.210","8080");
　　scraper.setDebug(true);
　　scraper.execute();