跳到主要内容

PyQuery

初始化​

from pyquery import PyQuery as pq

字符初始化​

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

doc = pq(html)

URL初始化​

doc = pq(url="http://www.baidu.com",encoding='utf-8')
# 或
doc = pq(requests.get('http://cuiqingcai.com').text)

文件初始化​

doc = pq(filename='demo.html')

最常用的初始化方式还是以字符串形式传递

CSS选择器​

名称例子说明
.class.color选择class='color'的所有元素
#id#info选择id='info'的所有元素
**选择所有元素
elementp选择所有的p元素
element, elementdiv, p选择所有的div元素和p元素
element elementdiv p选择div标签内的所有p元素
element > elementdiv > p选择所有父级是 div 元素的 p 元素
[attribute][target]选择带有target属性的所有元素
[attribute=value][target=_blank]选择target=_blank的所有元素

查找节点​

pyquery 的选择结果可能是多个节点，也可能是单个节点，类型都是 PyQuery 类型，并没有返回像 Beautiful Soup 那样的列表。

所有查找结点的方法都可以加入 CSS 选择器

子节点​

子孙节点​

items.find()

首先，我们选取 class 为 list 的节点，然后调用了 find() 方法，传入 CSS 选择器，选取其内部的 li 节点，最后打印输出。

find() 方法会将符合条件的所有节点选择出来，结果的类型是 PyQuery 类型。

直接子节点​

items.children()

父节点​

直接父节点​

用 parent 方法来获取某个节点的父节点

items.parent()

祖先节点​

items.parents()

兄弟节点​

选择 class 为 list 的节点内部 class 为 item-0 和 active 的节点

items.siblings()

遍历节点​

对于单个节点来说，可以直接打印输出，也可以直接转成字符串

doc = pq(html)
li = doc('.item-0.active')
print(li)
print(str(li))

输出

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

对于多个节点的结果，需要遍历来获取

doc = pq(html)
lis = doc('li').items()
print(type(lis))
for li in lis:
    print(li, type(li))

输出

<class 'generator'>
<li class="item-0">first item</li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-1"><a href="link2.html">second item</a></li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-0"><a href="link5.html">fifth item</a></li>
<class 'pyquery.pyquery.PyQuery'>

调用 items() 方法后，会得到一个生成器，遍历一下，就可以逐个得到 li 节点对象了，它的类型也是 PyQuery 类型

获取信息​

获取属性​

单个节点​

attr()​
a = doc('.item-0.active a')

print(a.attr('href'))

选中 class 为 item-0 和 active 的 li 节点内的 a 节点,调用 attr 方法。在这个方法中传入属性的名称，就可以得到这个属性值了

link3.html
attr属性​
print(a.attr.href)

多个节点​

当返回结果包含多个节点时，调用 attr 方法，只会得到第一个节点的属性。需要遍历获得

for item in a.items():
    print(item.attr('href'))

获取文本​

单个节点​

text()​
a = doc('.item-0.active a')

print(a.text())

首先选中一个 a 节点，然后调用 text 方法，就可以获取其内部的文本信息

third item
html()​

获取这个节点内部的 HTML 文本，

print(li.html())

输出

<span class="bold">third item</span>

多个节点​

若结果是多个节点：

  1. html 方法返回的是第一个 节点的内部 HTML 文本（需要遍历每个节点）
  2. text 则返回了所有的 li 节点内部的纯文本，中间用一个空格分割开，即返回结果是一个字符串（不需要遍历）

DOM操作​

addClass()、removeClass()​

添加，移除 class 标签

items.removeClass('active')
items.addClass('active')

attr、text、html​

items.attr('name', 'link') #属性名，属性值
items.text('changed item')
items.html('<span>changed item</span>')

remove​

例如，想提取 Hello, World 这个字符串，而不要 p 节点内部的字符串

html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
wrap.find('p').remove()
print(wrap.text())

首先选中 p 节点，然后调用了 remove() 方法将其移除，然后这时 wrap 内部就只剩下 Hello, World 这句话了，然后再利用 text() 方法提取即可

Hello, World