来自 Web前端 2020-04-29 17:43 的文章
当前位置: 网上澳门金莎娱乐 > Web前端 > 正文

Python网络爬虫神器PyQuery的基本使用教程

时间: 2019-09-09阅读: 153标签: 爬虫

前言

很多朋友不知道Python爬虫怎么入门,怎么学习,到底要学习哪些内容。今天我来给大家说说学习爬虫,我们必须掌握的一些第三方库。废话不多说,直接上干货。

pyquery库是jQuery的Python实现,能够以jQuery的语法来操作解析 HTML 文档,易用性和解析速度都很好,和它差不多的还有BeautifulSoup,都是用来解析的。相比BeautifulSoup完美翔实的文档,虽然PyQuery库的文档弱爆了, 但是使用起来还是可以的,有些地方用起来很方便简洁。

1.请求库1. requests

安装

GitHub:

关于PyQuery的安装可以参考这篇文章://www.jb51.net/article/82955.htm

requests库应该是现在做爬虫最火最实用的库了,非常的人性化。有关于它的使用我之前也写过一篇文章 一起看看Python之Requests库 ,大家可以去看一下。

PyQuery库官方文档

有关于requests最详细的使用方法,大家可以参考官方文档:

  • 初始化为PyQuery对象
  • 常用的CCS选择器
  • 伪类选择器
  • 查找标签
  • 获取标签信息

使用小案例:

初始化为PyQuery对象

importrequestsr=requests.get('',auth=('user','pass'))r.status_code200r.headers['content-type']'application/json;charset=utf8'r.encoding'utf-8'r.textu'{"type":"User"...'r.json(){u'disk_usage':368627,u'private_gists':484,...}
html = """
<html lang="en">
 <head>
 简单好用的
 <title>PyQuery</title>
 </head>
 <body>
 <ul id="container">
  <li class="object-1">Python</li>
  <li class="object-2">大法</li>
  <li class="object-3">好</li>
 </ul>
 </body>
</html>
"""
  1. urllib3

相当于BeautifulSoup库的初识化方法,将html转化为BeautifulSoup对象。

GitHub:

bsObj = BeautifulSoup(html, 'html.parser')

urllib3是一个非常强大的http请求库,提供一系列的操作URL的功能。

PyQuery库也要有自己的初始化。

有关于它的详细使用方法可以参考:

1.1 将字符串初始化

使用小案例:

from pyquery import PyQuery as pq
#初始化为PyQuery对象
doc = pq(html)
print(type(doc))
print(doc)
importurllib3http=urllib3.PoolManager()r=('GET','')r.status200r.data'User-agent:*nDisallow:/denyn'

返回

3.selenium

<class 'pyquery.pyquery.PyQuery'>

<html lang="en">
 <head>
 <title>PyQuery学习</title>
 </head>
 <body>
 <ul id="container">
  <li class="object-1"/>
  <li class="object-2"/>
  <li class="object-3"/>
 </ul>
 </body>
</html>

GitHub:

1.2 将html文件初始化

自动化测试工具。一个调用浏览器的 driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。

#filename参数为html文件路径
test_html = pq(filename = 'test.html')
print(type(test_html))
print(test_html)

对于这个库并非只是Python才能用,像JAVA、Python、C#等都能够使用selenium这个库

返回

有关于Python语言如何去使用这个库,大家可以去访问 查看官方文档

<class 'pyquery.pyquery.PyQuery'><html lang="en">
 <head>
 <title>PyQuery学习</title>
 </head>
 <body>
 <ul id="container">
  <li class="object-1"/>
  <li class="object-2"/>
  <li class="object-3"/>
 </ul>
 </body>
</html>

使用小案例:

1.3 对网址响应进行初始化

fromseleniumimportwebdriverbrowser=webdriver.Firefox()browser.get('')
response = pq(url = 'https://www.baidu.com')
print(type(response))
print(response)

4.aiohttp

返回

GitHub:-libs/aiohttp

<class 'pyquery.pyquery.PyQuery'>

<html> <head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="external nofollow" /><title>ç�¾åº¦ä¸�ä¸�ï¼�ä½ å°±ç�¥é��</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270" height="129"/> </div> <form id="form" name="f" action="//www.baidu.com/s" class="fm"> <input type="hidden" name="bdorz_come" value="1"/> <input type="hidden" name="ie" value="utf-8"/> <input type="hidden" name="f" value="8"/> <input type="hidden" name="rsv_bp" value="1"/> <input type="hidden" name="rsv_idx" value="1"/> <input type="hidden" name="tn" value="baidu"/><input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off" autofocus="autofocus"/><input type="submit" id="su" value="ç�¾åº¦ä¸�ä¸�" class="bg s_btn" autofocus=""/> </form> </div> </div> <div id="u1"> <a href="http://news.baidu.com" rel="external nofollow" name="tj_trnews" class="mnav">æ�°é�»</a> <a href="https://www.hao123.com" rel="external nofollow" name="tj_trhao123" class="mnav">hao123</a> <a href="http://map.baidu.com" rel="external nofollow" name="tj_trmap" class="mnav">å�°å�¾</a> <a href="http://v.baidu.com" rel="external nofollow" name="tj_trvideo" class="mnav">è§�é¢�</a> <a href="http://tieba.baidu.com" rel="external nofollow" name="tj_trtieba" class="mnav">è´´å�§</a> <noscript> <a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" rel="external nofollow" name="tj_login" class="lb">ç�»å½�</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === " rel="external nofollow" " ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç�»å½�</a>');

基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字,使用异步库进行数据抓取,可以大大提高效率。

��产�

å ³äº�ç�¾åº¦ About Baidu

©2017 Baidu 使ç�¨ç�¾åº¦å��å¿ è¯» æ��è§�å��é¦� 京ICPè¯�030173å�·

这个属于进阶爬虫时候必须掌握的异步库。有关于aiohttp的详细操作,可以去官方文档:

二、常用的CCS选择器

使用小案例:

打印id为container的标签

importaio(session,url):asyncwithsession.get(url)asresponse:returnawaitresponse.text()asyncdefmain():asyncwithaio()assession:html=awaitfetch(session,'')print(html)if__name__=='__main__':loop=asyncio.get_event_loop()loop.run_until_complete(main())
print(doc('#container'))
print(type(doc('#container')))

2 解析库1、beautifulsoup

返回

官方文档:

<ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
</ul>

<class 'pyquery.pyquery.PyQuery'>

html 和 XML 的解析,从网页中提取信息,同时拥有强大的API和多样解析方式。一个我经常使用的解析库,对于html的解析是非常的好用。对于写爬虫的人来说这也是必须掌握的库。

打印class为object-1的标签

2、lxml

print(doc('.object-1'))

GitHub:

返回

支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。

<li class="object-1"/>

3、pyquery

打印标签名为body的标签

GitHub:

print(doc('body'))

jQuery 的 Python 实现,能够以 jQuery 的语法来操作解析 HTML 文档,易用性和解析速度都很好。

返回

  1. 数据存储库1、pymysql
<body>
 <ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
 </ul>
</body>

GitHub:

网上澳门金莎娱乐,多种css选择器使用

官方文档:

print(doc('html #container'))

一个纯 Python 实现的 MySQL 客户端操作库。非常的实用、非常的简单。

返回

2、pymongo

<ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
</ul>

GitHub:-python-driver

三、伪类选择器

官方文档:

伪类nth

顾名思义,一个用于直接连接 mongodb 数据库进行查询操作的库。

print(pseudo_doc('li:nth-child(2)'))
#打印第一个li标签
print(pseudo_doc('li:first-child'))
#打印最后一个标签
print(pseudo_doc('li:last-child'))

3、redisdump

返回

使用方法:

<li class="object-2">大法</li>
<li class="object-1">Python</li>
<li class="object-6">好玩</li>

redis-dump是将redis和json互转的工具;redis-dump是基于ruby开发,需要ruby环境,而且新版本的redis-dump要求2.2.2以上的ruby版本,centos中yum只能安装2.0版本的ruby。需要先安装ruby的管理工具rvm安装高版本的ruby。

contains

#找到含有Python的li标签
print(pseudo_doc("li:contains('Python')"))
#找到含有好的li标签
print(pseudo_doc("li:contains('好')"))

返回

<li class="object-1">Python</li>
<li class="object-3">好</li>
<li class="object-4">好</li>
<li class="object-6">好玩</li> 

四、查找标签

按照条件在Pyquery对象中查找符合条件的标签,类似于BeautifulSoup中的find方法。

打印id=container的标签

print(doc.find('#container'))

本文由网上澳门金莎娱乐发布于Web前端,转载请注明出处:Python网络爬虫神器PyQuery的基本使用教程

关键词:

热门文章