Linux编程
点右边关注，从新手到高手免费！
作者丨东山
本文主要介绍Python爬取网页信息时经常用到的正则表达式和方法。 是一篇实用性很强的总结性文章。 主要解决我遇到的爬虫问题，希望对你有所帮助~
当然，如果Selenium可以基于自动化测试爬虫和BeautifulSoup分析网页DOM节点就更方便了正则表达式忽略大小写，不过本文更多的是基于正则的底层爬取分析。
涉及内容如下：
常用正则表达式爬取网页信息及HTML分析总结
1.获取标签之间的内容
2.获取超链接之间的内容
3.获取url最后一个参数给图片命名或传参
4.抓取网页中的所有URL链接
5、爬取网页标题的两种方式
6.定位表位并爬取attribute-属性值
7.过滤器等标签
8.获取等标签内容
9.通过替换功能过滤
标签
10.得到
超级链接和过滤器
标签
1.获取标签之间的内容
这部分主要是使用正则表达式来获取两个标签之间的内容，通常这样的标签都是成对出现的。
开始标签如：,,
,,,
…
后缀标签如：
,,
,,,
…
核心代码：
res_tr = r'(.*?)
'
m_tr = re.findall（res_tr，语言，re.S|re.M）
例子：
# coding=utf-8
import re
language = '''性別： 男 '''
#正则表达式获取
res_tr = r'(.*?) '
m_tr = re.findall(res_tr,language,re.S|re.M)
for line in m_tr:
print line
#获取表格第一列th 属性
res_th = r'(.*?) '
m_th = re.findall(res_th,line,re.S|re.M)
for mm in m_th:
print unicode(mm,'utf-8'), #unicode防止乱
#获取表格第二列td 属性值
res_td = r'(.*?) '
m_td = re.findall(res_td,line,re.S|re.M)
for nn in m_td:
print unicode(nn,'utf-8')
输出如下所示：
>>>
性別：</th> 男</td>
性別： 男
>>>
Python 通过 re 模块提供对正则表达式的支持。 re的使用一般步骤是先将正则表达式的字符串形式编译成Pattern实例正则表达式忽略大小写，然后使用Pattern实例对文本进行处理，得到匹配结果（一个Match实例），最后使用Match实例得到信息并执行其他操作。
findall(字符串[, pos[, endpos]]) | re.findall(pattern, string[, flags])：搜索字符串并以列表形式返回所有匹配的子字符串。 RE的常用参数包括：
re.I(re.IGNORECASE)：忽略大小写（括号内全写）
re.M(re.MULTILINE)：多行模式，改变'^'和'$'的行为
re.S(re.DOTALL)：单击任何匹配模式以更改“.”的行为
2.获取超链接之间的内容
通常，在使用正则表达式时，需要对网页链接进行解析，获取URL或网页内容。 核心代码如下：
res = r'(.*?)'
mm = re.findall(res, 内容, re.S|re.M)
urls=re.findall(r"", 内容, re.I|re.S|re.M)
例子：
# coding=utf-8
import re
content = '''
浙江省主题介绍
贵州省主题介绍
'''
#获取之间的内容
print u'获取链接文本内容:'
res = r'(.*?)'
mm = re.findall(
res, content, re.S|re.M)
for value in mm:
print value
#获取所有链接所有内容
print u'n获取完整链接内容:'
urls=re.findall(r"<a.*?href=.*?", content, re.I|re.S|re.M)
for i in urls:
print i
#获取中的URL
print u'n获取链接中URL:'
res_url = r"(?<=href=").+?(?=")|(?<=href=').+?(?=')"
link = re.findall(res_url , content, re.I|re.S|re.M)
for url in link:
print url
输出如下图所示：
>>>
获取链接文本内容:
浙江省主题介绍
贵州省主题介绍
获取完整链接内容:
<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍
<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍
获取链接中URL:
https://www.baidu.com/articles/zj.html
https://www.baidu.com//articles/gz.html
>>>
当然，如果你通过Selenium分析DOM树结构，获取href对应的url或title中的值，核心代码如下，这里主要是为了让大家比较了解不同方法的优势：
司机。 获取链接）
elem = driver.find_elements_by_xpath("//div[@class='piclist']/tr/dd[1]")
对于 elem 中的 url：
pic_url = 网址。 get_attribute("href")
打印 pic_url
参考文章：
3.获取url最后一个参数给图片命名或传参
通常在使用Python爬取图片的过程中，会遇到图片对应的url的最后一个字段，通常用来给图片命名，比如虎扑孙越妻的图片：
*640.jpg
这时候就需要通过url的“/”后面的参数给图片命名，方法如下：
urls = "http://i1.hoopchina.com.cn/blogfile/201411/11/BbsImg141568417848931_640*640.jpg"
values = urls.split('/')[-1]
print values
输出如下所示：
>>>
BbsImg141568417848931_640*640.jpg
>>>
在使用Python获取GET方法得到的URL链接中，也可能有传递参数的值。
此时获取参数的方法如下：
url = 'http://localhost/test.py?a=hello&b=world'
values = url.split('?')[-1]
print values
for key_value in values.split('&'):
print key_value.split('=')
！
输出如下所示：
>>>
a=hello&b=world
['a', 'hello']
['b', 'world']
>>>
4.抓取网页中的所有URL链接
在学习爬虫的过程中，肯定需要从固有网页爬取URL链接，然后进行下一步的循环爬取或URL爬取。 如下，爬取CSDN首页的所有URL链接。
# coding=utf-8
import re
import urllib
url = "http://www.csdn.net/"
content = urllib.urlopen(url).read()
urls = re.findall(r"<a.*?href=.*?", content, re.I)
for url in urls:
print unicode(url,'utf-8')
link_list = re.findall(r"(?<=href=").+?(?=")|(?<=href=').+?(?=')", content)
for url in link_list:
print url
输出如下所示：
>>>
<a href="https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn">登录</a>
<a href="http://passport.csdn.net/account/mobileregister?action=mobileRegister">注册</a>
<a href="https://passport.csdn.net/help/faq">帮助</a>
...
https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn
http://passport.csdn.net/account/mobileregister?action=mobileRegister
https://passport.csdn.net/help/faq
...
>>>
5、爬取网页标题的两种方式
获取网页标题也是一种常见的爬虫。 比如我在爬取维基百科的国家信息时，需要爬取网页的标题。 通常在 .
以下是两种爬取CSDN题名的方法：
# coding=utf-8
import re
import urllib
url = "http://www.csdn.net/"
content = urllib.urlopen(url).read()
print u'方法一:'
title_pat = r'(?<=).*?(?= )'
title_ex = re.compile(title_pat,re.M|re.S)
title_obj = re.search(title_ex, content)
title = title_obj.group()
print title
print u'方法二:'
title = re.findall(r'(.*?) ', content)
print title[0]
输出如下所示：
>>>
方法一:
CSDN.NET - 全球最大中文IT社区，为IT专业技术人员提供最全面的信息传播和服务平台
方法二:
CSDN.NET - 全球最大中文IT社区，为IT专业技术人员提供最全面的信息传播和服务平台
>>>
6.定位表位并爬取attribute-属性值
如果使用Python库的一些爬取，通常可以通过DOM树结构来定位，比如代码：
登录=驱动程序。 find_element_by_xpath("//表单[@id='loginForm']")
参考文章：
但如果是正则表达式等比较传统的傻瓜式方法，通过find函数定位到指定的表方法。 例如：获取Infobox的表格信息。
通过分析源码，发现“Programming Language List”的消息框如下：
start = content.find(r'<table class="infobox vevent"') #起点记录查询位置
end = content.find(r'')
infobox = language[start:end]
print infobox
print infobox 输出其中一种语言ActionScript的InfoBox消息框源代码如下：
<table class="infobox vevent" cellspacing="3" style="border-spacing:3px;width:22em;text-align:left;font-size:small;line-height:1.5em;">
<caption class="summary"><b>ActionScript</b></caption>
<tr>
<th scope="row" style="text-align:left;white-space:nowrap;;;">发行时间</th>
<td style=";;">1998年</td>
</tr>
<tr>
<th scope="row" style="text-align:left;white-space:nowrap;;;">实现者</th>
<td class="organiser" style=";;"><a href="/wiki/Adobe_Systems" title="Adobe Systems">Adobe Systems</a></td>
</tr>
<tr>
<tr>
<th scope="row" style="text-align:left;white-space:nowrap;;;">启发语言</th>
<td style=";;"><a href="/wiki/JavaScript" title="JavaScript">JavaScript</a>、<a href="/wiki/Java" title="Java">Java</a></td>
</tr>
</table>
参考文章：
然后分析并爬取此信息框内容中的正则表达式。 下面介绍爬取属性-属性值：
抓取格式如下：
属性
属性值
其中th表示加粗处理，td和th中可能有title、id、type等属性值； 同时，它们之间的内容可能存在或或
需要处理等价性。 先解释一下正则表达式获取td值的例子：
参考：
<table>
<tr>
<td>序列号</td><td>DEIN3-39CD3-2093J3</td>
<td>日期</td><td>2013年1月22日</td>
<td>售价</td><td>392.70 元</td>
<td>说明</td><td>仅限5用户使用</td>
</tr>
</table>
Python代码如下：
# coding=utf-8
import re
s = '''
序列号 DEIN3-39CD3-2093J3
日期 2013年1月22日
售价 392.70 元
说明 仅限5用户使用
'''
res = r'(.*?) (.*?) '
m = re.findall(res,s,re.S|re.M)
for line in m:
print unicode(line[0],'utf-8'),unicode(line[1],'utf-8') #unicode防止乱码
#输出结果如下：
#序列号 DEIN3-39CD3-2093J3
#日期 2013年1月22日
#售价 392.70 元
#说明 仅限5用户使用
如果
如果包含此属性，则正则表达式为 r'(.*?)
'; 同样，如果不一定是id属性开头，可以使用正则表达式r'
(.*?)
'.
7.过滤器等标签
在获取价值的过程中，通常有，
, 等标签，下面是过滤的例子。
(字)翔宇
过滤标签核心代码：
elif "span" in nn: #processing 标签
res_value = r'(.*?)'
m_value = re.findall(res_value,nn,re.S|re.M)
对于 m_value 中的值：
打印 unicode（值，'utf-8'），
代码如下，注意print中的逗号连接字符串：
# coding=utf-8
import re
language = '''
周恩来
性別：
男 d
異名：
(字) 翔宇
政黨：
中国共产党
籍貫：
浙江省绍兴市
'''
#获取table中tr值
res_tr = r'(.*?) '
m_tr = re.findall(res_tr,language,re.S|re.M)
for line in m_tr:
#获取表格第一列th 属性
res_th = r'(.*?) '
m_th = re.findall(res_th,line,re.S|re.M)
for mm in m_th:
if "href" in mm: #如果获取加粗的th中含超链接则处理
restr = r'(.*?)'
h = re.findall(restr,mm,re.S|re.M)
print unicode(h[0],'utf-8'), #逗号连接属性值 防止换行
else:
print unicode(mm,'utf-8'), #unicode防止乱
#获取表格第二列td 属性值
res_td = r'(.*?) ' #r'(.*?) '
m_td = re.findall(res_td,line,re.S|re.M)
for nn in m_td:
if "href" in nn: #处理超链接
res_value = r'(.*?)'
m_value = re.findall(res_value,nn,re.S|re.M)
for value in m_value:
print unicode(value,'utf-8'),
elif "span" in nn: #处理标签
res_value = r'(.*?)'
m_value = re.findall(res_value,nn,re.S|re.M) #(字) 翔宇
for value in m_value:
print unicode(value,'utf-8'),
else:
print unicode(nn,'utf-8'),
print ' ' #换行
输出如下所示：
>>>
性別： 男
異名： (字) 翔宇
政黨： 中国共产党
籍貫： 浙江省 绍兴市
>>>
8.获取等标签内容
例如在获取优讯网图库时，脚本中存储了图集对应的原图，其中获取原图-original，缩略图-thumb，大图-big，网址为通过正则表达式下载：
res_original = r'"original":"(.*?)"' #原图
m_original = re. findall（res_original，脚本）
代码如下：
# coding=utf-8
import re
import os
content = '''
var images = [
{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",
"thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",
"original":"http://i-2.yxdown.com/2015/3/18/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",
"title":"","descript":"","id":75109},
{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/fec26de9-8727-424a-b272-f2827669a320.jpg",
"thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/fec26de9-8727-424a-b272-f2827669a320.jpg",
"original":"http://i-2.yxdown.com/2015/3/18/fec26de9-8727-424a-b272-f2827669a320.jpg",
"title":"","descript":"","id":75110},
'''
html_script = r'(.*?)'
m_script = re.findall(html_script,content,re.S|re.M)
for script in m_script:
res_original = r'"original":"(.*?)"' #原图
m_original = re.findall(res_original,script)
for pic_url in m_original:
print pic_url
filename = os.path.basename(pic_url) #去掉目录路径,返回文件名
urllib.urlretrieve(pic_url, 'E:\'+filename) #下载图片
运行结果如下图，图片同时下载到E盘。
参考文章：
9.通过替换过滤
标签
在获取值的过程中，通常会保存
标签，表示 HTML 换行符。 常用的方法可以通过标签''进行过滤，不过这里要说的是Python中常用的过滤方法。 在处理中文乱码或者一些特殊字符的时候，可以使用函数replace来过滤掉这些字符。 核心代码如下：
如果 '
' 的价值：
价值=价值。 代替（'
','') #过滤标签
value = value.replace('n',' ') #换行空格替换或者总是换行
过滤前后示例：
大红阿异名：（字）后安
(谥号)吴庄
（勇敢的）Akdachun Baturu
大红阿的别名：（字）后安（谥号）乌庄（号）阿克达春·巴图鲁
10.得到
超级链接和过滤器
标签
在获取value属性值的过程中，分析table/tr/th/td标签后可能仍然存在
图片链接，在获取文字内容的时候，可能需要过滤掉这些
标签。 这里使用的方法如下：
value = re.sub(']+>','', 值)
例如：
#encoding:utf-8
import os
import re
value = '''
<table class="infobox" style="width: 21em; text-align: left;" cellpadding="3">
<tr bgcolor="#CDDBE8">
<th colspan="2">
<center class="role"><b>中華民國政治人士</b><br /></center>
</th>
</tr>
<tr>
<th>性別：</th>
<td>男</td>
</tr>
<tr>
<th>政黨：</th>
<td><span class="org">
<img alt="中國國民黨" src="../../../../images/Kuomintang.svg.png" width="19" height="19" border="0" />
<a href="../../../../articles/%8B%E6%B0%91%E9%BB%A8.html" title="中國國民黨">中國國民黨</a></span></td>
</tr>
</table>
'''
value = re.sub('<[^>]+>','', value) #过滤HTML标签
print value
输出如下：
>>>
中華民國政治人士
性別：
男
政黨：
中國國民黨
>>>
虽然只包含汉字，但是中间会有换行符，需要过滤掉
你可以：
if '
' in value:
value = value.replace('
','')
value = value.replace('n',' ')
value = re.sub(']+>','', value) #过滤HTML标签
print value
#输出仅仅一行如下：
#中華民國政治人士 性別： 男 政黨： 中國國民黨
下面介绍第二部分，通过正则表达式得到
中的src超链接，代码如下：
test = ''''''
print re.findall('src="(.*?)"',test)
输出如下所示：
>>>
['../images/Kuomintang.png']
>>>
findall函数总是返回字符串中正则表达式所有匹配结果的列表，即findall返回的列表中每个元素所包含的信息。
最后，希望文章对你有所帮助。 如果以后遇到新的相关知识，我会第一时间更新补充。
推荐↓↓↓
长的
根据
关闭
笔记
【】都在这里！
涵盖：大程序员、源码分享读物、程序员分享读物、数据结构与算法、黑客技术与网络安全、大数据技术、编程前端、Java、Python、Web编程开发、Android、iOS开发、Linux、数据库研发、幽默程序员等
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，请联系我们进行处理。
相关文章
