www.adminn.cn
站长正能量分享网!

PHP curl实现抓取302跳转后页面的示例

AD:阿里云服务器企业会员更优惠 腾讯云香港,韩国免备案服务器1.8折优惠

这篇文章主要介绍了PHP curl实现抓取302跳转后页面的示例,主要是对CURLOPT_CUSTOMREQUEST参数的运用,需要的朋友可以参考下

PHP的CURL正常抓取页面程序如下:

  1. $url = 'http://www.adminn.cn'
  2.  
  3. $ch = curl_init();  
  4. curl_setopt($ch, CURLOPT_URL, $url);  
  5. curl_setopt($ch, CURLOPT_VERBOSE, true);  
  6. curl_setopt($ch, CURLOPT_HEADER, true); 
  7. curl_setopt($ch, CURLOPT_NOBODY, true); 
  8. curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); 
  9. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);  
  10. curl_setopt($ch, CURLOPT_TIMEOUT, 20);  
  11. curl_setopt($ch, CURLOPT_AUTOREFERER, true);  
  12. curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);  
  13. $ret = curl_exec($ch);  
  14. $info = curl_getinfo($ch);  
  15. curl_close($ch); 

如果你抓取到的是302状态,是因为再抓取的过程中,有的跳转需要给下一个链接传递参数,而下一个链接同时也设置了如果没接收到相应的参数是为非法访问。

curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');

显示就应该正常了。

上面用来抓取功能,几乎应该没问题的。你可以查一下CURLOPT_CUSTOMREQUEST相关资料。

使用一个自定义的请求信息来代替”GET”或”HEAD”作为HTTP请求。这对于执行”DELETE” 或者其他更隐蔽的HTTP请求。有效值如”GET”,”POST”,”CONNECT”等等。也就是说,不要在这里输入整个HTTP请求。例如输入”GET /index.html HTTP/1.0\r\n\r\n”是不正确的。

模板优惠价: (点击购买)
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《PHP curl实现抓取302跳转后页面的示例》
文章链接:https://www.adminn.cn/news/8846.html
本站资源模板仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。2021.5月起,网站调整,暂不再分享免费模板。谢谢理解

扫码支付后请联系右侧QQ发送下载地址!!

源码请勿用于任何涉灰站点!净化网络,站长更有责!

支付宝扫一扫打赏