php模仿百度spider蜘蛛爬虫程序例子

下面来看一个php模仿百度spider蜘蛛爬虫程序例子,这个代码写得比较高级了我就不分析了,大家有需要的可以进入参考一下吧.

自己用PHP写了个爬虫,基本功能已经实现,有兴趣的可以试试

脚本缺点:1.未对静态页面进行去重处理,2.未对页面内js操作后的结果进行处理

php模仿百度spider蜘蛛爬虫程序例子代码如下:

2. #加载页面 
3. function curl_get($url){ 
4.         $ch=curl_init(); 
5.         curl_setopt($ch,CURLOPT_URL,$url); 
6.         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
7.         curl_setopt($ch,CURLOPT_HEADER,1); 
8.         $result=curl_exec($ch); 
9.         $code=curl_getinfo($ch,CURLINFO_HTTP_CODE); 
10.  if($code!='404' && $result){ 
11.   return $result; 
12.  } 
13.         curl_close($ch); 
14. } 
15. #获取页面url链接 
16. function get_page_urls($spider_page_result,$base_url){ 
17.   $get_url_result=preg_match_all("/<[a|A].*?href=[＼'＼"]{0,1}([^>＼'＼"＼ ]*).*?>/",$spider_page_result,$out); 
18.   if($get_url_result){ 
19.    return $out[1]; 
20.   }else{ 
21.    return; 
22.   } 
23. } 
24. #相对路径转绝对路径 
25. function xdtojd($base_url,$url_list){ 
26.  if(is_array($url_list)){ 
27.   foreach($url_list as $url_item){ 
28.    if(preg_match("/^(http:＼/＼/|https:＼/＼/|javascript：)/",$url_item)){ 
29.     $result_url_list[]=$url_item; 
30.    }else { 
31.     if(preg_match("/^＼//",$url_item)){ 
32.      $real_url = $base_url.$url_item; 
33.     }else{ 
34.      $real_url = $base_url."/".$url_item; 
35.     } 
36.     #$real_url = 'http://www.sumpay.cn/'.$url_item;   
37.                   $result_url_list[] = $real_url;   
38.    } 
39.   } 
40.   return $result_url_list; 
41.  }else{ 
42.   return; 
43.  } 
44. } 
45. #删除其他站点url 
46. function other_site_url_del($jd_url_list,$url_base){ 
47.  
48.  if(is_array($jd_url_list)){ 
49.   foreach($jd_url_list as $all_url){ 
50.    echo $all_url; 
51.    if(strpos($all_url,$url_base)===0){ 
52.     $all_url_list[]=$all_url; 
53.    } 
54.  
55.   } 
56.   return $all_url_list; 
57.  }else{ 
58.   return; 
59.  } 
60. } 
61. #删除相同URL 
62. function url_same_del($array_url){ 
63.  
64.  if(is_array($array_url)){ 
65.   $insert_url=array(); 
66.   $pizza=file_get_contents("/tmp/url.txt"); 
67.                 if($pizza){ 
68.    $pizza=explode("＼r＼n",$pizza); 
69.    foreach($array_url as $array_value_url){ 
70.     if(!in_array($array_value_url,$pizza)){ 
71.      $insert_url[]=$array_value_url;  
72.     } 
73.    } 
74.    if($insert_url){ 
75.                                 foreach($insert_url as $key => $insert_url_value){ 
76.                                         #这里只做了参数相同去重处理 
77.      $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); 
78.                                         foreach($pizza as $pizza_value){ 
79.                                          $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value); 
80.                                                 if($update_insert_url==$update_pizza_value){ 
81.                                                  unset($insert_url[$key]); 
82.                                                         continue; 
83.                                                 } 
84.                                         } 
85.     } 
86.    } 
87.    
88.   }else{ 
89.    $insert_url=array(); 
90.    $insert_new_url=array(); 
91.    $insert_url=$array_url; 
92.    foreach($insert_url as $insert_url_value){ 
93.     $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); 
94.     $insert_new_url[]=$update_insert_url;    
95.    } 
96.    $insert_new_url=array_unique($insert_new_url); 
97.    foreach($insert_new_url as $key => $insert_new_url_val){ 
98.     $insert_url_bf[]=$insert_url[$key]; 
99.    }  
100.    $insert_url=$insert_url_bf; 
101.   } 
102.   return $insert_url; 
103.  }else{ 
104.   return;  
105.  } 
106. } 
107. $current_url=$argv[1]; 
108. $fp_puts = fopen("/tmp/url.txt","ab");//记录url列表   
109. $fp_gets = fopen("/tmp/url.txt","r");//保存url列表   
110. $url_base_url=parse_url($current_url); 
111. if($url_base_url['scheme']==""){ 
112.  $url_base="http://".$url_base_url['host']; 
113. }else{ 
114.  $url_base=$url_base_url['scheme']."://".$url_base_url['host']; 
115. } 
116. do{ 
117.  $spider_page_result=curl_get($current_url); 
118.  #var_dump($spider_page_result); 
119.  $url_list=get_page_urls($spider_page_result,$url_base); 
120.  #var_dump($url_list); 
121.  if(!$url_list){ 
122.   continue; 
123.  } 
124.  $jd_url_list=xdtojd($url_base,$url_list); 
125.  #var_dump($jd_url_list); 
126.  $result_url_arr=other_site_url_del($jd_url_list,$url_base); 
127.  var_dump($result_url_arr); 
128.  $result_url_arr=url_same_del($result_url_arr);  
129.  #var_dump($result_url_arr);  
130.  if(is_array($result_url_arr)){   
131.      $result_url_arr=array_unique($result_url_arr); 
132.             foreach($result_url_arr as $new_url) {   
133.                 fputs($fp_puts,$new_url."＼r＼n");   
134.             }//开源代码phpfensi.com 
135.  }   
136.  
137. } 
138. while ($current_url = fgets($fp_gets,1024));//不断获得url   
139. preg_match_all("/]+href=[＼"']([^＼"']+)[＼"'][^>]+>/",$spider_page_result,$out); 
140. # echo a href 
141. #var_dump($out[1]); 
142. ?>