当前位置：
  1. 首页
  2. 生活百科
  3. 正文

正则表达式转换正则文法_js正则表达式忽略空格_正则表达式忽略大小写

正则表达式转换正则文法_js正则表达式忽略空格_正则表达式忽略大小写

Linux编程

点右边关注，从新手到高手免费！

作者丨东山

本文主要介绍Python爬取网页信息时经常用到的正则表达式和方法。 是一篇实用性很强的总结性文章。 主要解决我遇到的爬虫问题，希望对你有所帮助~

当然，如果Selenium可以基于自动化测试爬虫和BeautifulSoup分析网页DOM节点就更方便了正则表达式忽略大小写，不过本文更多的是基于正则的底层爬取分析。

涉及内容如下：

常用正则表达式爬取网页信息及HTML分析总结

1.获取标签之间的内容

2.获取超链接之间的内容

3.获取url最后一个参数给图片命名或传参

4.抓取网页中的所有URL链接

5、爬取网页标题的两种方式

6.定位表位并爬取attribute-属性值

7.过滤器等标签

8.获取等标签内容

9.通过替换功能过滤

标签

10.得到

超级链接和过滤器

标签

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

1.获取标签之间的内容

这部分主要是使用正则表达式来获取两个标签之间的内容，通常这样的标签都是成对出现的。

开始标签如：,,

,,,

…

后缀标签如：

,,

,,,

…

核心代码：

res_tr = r'(.*?)

'

m_tr = re.findall（res_tr，语言，re.S|re.M）

例子：

# coding=utf-8
import re

language = '''性別：男'''

#正则表达式获取之间内容
res_tr = r'(.*?)'
m_tr =  re.findall(res_tr,language,re.S|re.M)
for line in m_tr:
    print line
    #获取表格第一列th 属性
    res_th = r'(.*?)'  
    m_th = re.findall(res_th,line,re.S|re.M)
    for mm in m_th:
        print unicode(mm,'utf-8'),  #unicode防止乱
    #获取表格第二列td 属性值
    res_td = r'(.*?)'
    m_td = re.findall(res_td,line,re.S|re.M)
    for nn in m_td:
        print unicode(nn,'utf-8')

输出如下所示：

>>> 
性別：</th>男</td>
性別： 男
>>>

Python 通过 re 模块提供对正则表达式的支持。 re的使用一般步骤是先将正则表达式的字符串形式编译成Pattern实例正则表达式忽略大小写，然后使用Pattern实例对文本进行处理，得到匹配结果（一个Match实例），最后使用Match实例得到信息并执行其他操作。

findall(字符串[, pos[, endpos]]) | re.findall(pattern, string[, flags])：搜索字符串并以列表形式返回所有匹配的子字符串。 RE的常用参数包括：

re.I(re.IGNORECASE)：忽略大小写（括号内全写）

re.M(re.MULTILINE)：多行模式，改变'^'和'$'的行为

re.S(re.DOTALL)：单击任何匹配模式以更改“.”的行为

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

2.获取超链接之间的内容

通常，在使用正则表达式时，需要对网页链接进行解析，获取URL或网页内容。 核心代码如下：

res = r'(.*?)'

mm = re.findall(res, 内容, re.S|re.M)

urls=re.findall(r"", 内容, re.I|re.S|re.M)

例子：

# coding=utf-8
import re

content = '''

浙江省主题介绍
贵州省主题介绍

'''

#获取之间的内容
print u'获取链接文本内容:'
res = r'(.*?)'
mm =  re.findall(
res, content, re.S|re.M)
for value in mm:
    print value

#获取所有链接所有内容
print u'n获取完整链接内容:'
urls=re.findall(r"<a.*?href=.*?", content, re.I|re.S|re.M)
for i in urls:
    print i

#获取中的URL
print u'n获取链接中URL:'
res_url = r"(?<=href=").+?(?=")|(?<=href=').+?(?=')"
link = re.findall(res_url ,  content, re.I|re.S|re.M)
for url in link:
    print url

输出如下图所示：

>>> 
获取链接文本内容:
浙江省主题介绍
贵州省主题介绍

获取完整链接内容:
<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍
<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍

获取链接中URL:
https://www.baidu.com/articles/zj.html
https://www.baidu.com//articles/gz.html
>>>

当然，如果你通过Selenium分析DOM树结构，获取href对应的url或title中的值，核心代码如下，这里主要是为了让大家比较了解不同方法的优势：

司机。 获取链接）

elem = driver.find_elements_by_xpath("//div[@class='piclist']/tr/dd[1]")

对于 elem 中的 url：

pic_url = 网址。 get_attribute("href")

打印 pic_url

参考文章：

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

3.获取url最后一个参数给图片命名或传参

通常在使用Python爬取图片的过程中，会遇到图片对应的url的最后一个字段，通常用来给图片命名，比如虎扑孙越妻的图片：

*640.jpg

这时候就需要通过url的“/”后面的参数给图片命名，方法如下：

urls = "http://i1.hoopchina.com.cn/blogfile/201411/11/BbsImg141568417848931_640*640.jpg"
values = urls.split('/')[-1]
print values

输出如下所示：

>>> 
BbsImg141568417848931_640*640.jpg
>>>

在使用Python获取GET方法得到的URL链接中，也可能有传递参数的值。

此时获取参数的方法如下：

url = 'http://localhost/test.py?a=hello&b=world'  
values = url.split('?')[-1]  
print values  
for key_value in values.split('&'):
    print key_value.split('=')
！

输出如下所示：

>>> 
a=hello&b=world
['a', 'hello']
['b', 'world']
>>>

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

4.抓取网页中的所有URL链接

在学习爬虫的过程中，肯定需要从固有网页爬取URL链接，然后进行下一步的循环爬取或URL爬取。 如下，爬取CSDN首页的所有URL链接。

# coding=utf-8
import re
import urllib

url = "http://www.csdn.net/"
content = urllib.urlopen(url).read()
urls = re.findall(r"<a.*?href=.*?", content, re.I)
for url in urls:
    print unicode(url,'utf-8')

link_list = re.findall(r"(?<=href=").+?(?=")|(?<=href=').+?(?=')", content)
for url in link_list:  
    print url

输出如下所示：

>>> 
<a href="https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn">登录</a>
<a href="http://passport.csdn.net/account/mobileregister?action=mobileRegister">注册</a>
<a href="https://passport.csdn.net/help/faq">帮助</a>
...
https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn
http://passport.csdn.net/account/mobileregister?action=mobileRegister
https://passport.csdn.net/help/faq
...
>>>

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

5、爬取网页标题的两种方式

获取网页标题也是一种常见的爬虫。 比如我在爬取维基百科的国家信息时，需要爬取网页的标题。 通常在 .

以下是两种爬取CSDN题名的方法：

# coding=utf-8
import re
import urllib

url = "http://www.csdn.net/"
content = urllib.urlopen(url).read()

print u'方法一:'
title_pat = r'(?<=).*?(?=)'  
title_ex = re.compile(title_pat,re.M|re.S)  
title_obj = re.search(title_ex, content)
title = title_obj.group()
print title

print u'方法二:'
title = re.findall(r'(.*?)', content)
print title[0]

输出如下所示：

>>> 
方法一:
CSDN.NET - 全球最大中文IT社区，为IT专业技术人员提供最全面的信息传播和服务平台
方法二:
CSDN.NET - 全球最大中文IT社区，为IT专业技术人员提供最全面的信息传播和服务平台
>>>

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

6.定位表位并爬取attribute-属性值

如果使用Python库的一些爬取，通常可以通过DOM树结构来定位，比如代码：

登录=驱动程序。 find_element_by_xpath("//表单[@id='loginForm']")

参考文章：

但如果是正则表达式等比较传统的傻瓜式方法，通过find函数定位到指定的表方法。 例如：获取Infobox的表格信息。

通过分析源码，发现“Programming Language List”的消息框如下：

start = content.find(r'<table class="infobox vevent"') #起点记录查询位置  
end = content.find(r'')      
infobox = language[start:end]  
print infobox

print infobox 输出其中一种语言ActionScript的InfoBox消息框源代码如下：

<table class="infobox vevent" cellspacing="3" style="border-spacing:3px;width:22em;text-align:left;font-size:small;line-height:1.5em;">   
<caption class="summary"><b>ActionScript</b></caption>   
<tr>   
<th scope="row" style="text-align:left;white-space:nowrap;;;">发行时间</th>   
<td style=";;">1998年</td>   
</tr>   
<tr>   
<th scope="row" style="text-align:left;white-space:nowrap;;;">实现者</th>   
<td class="organiser" style=";;"><a href="/wiki/Adobe_Systems" title="Adobe Systems">Adobe Systems</a></td>   
</tr>   
<tr>   
<tr>   
<th scope="row" style="text-align:left;white-space:nowrap;;;">启发语言</th>   
<td style=";;"><a href="/wiki/JavaScript" title="JavaScript">JavaScript</a>、<a href="/wiki/Java" title="Java">Java</a></td>   
</tr>   
</table> 

参考文章：

然后分析并爬取此信息框内容中的正则表达式。 下面介绍爬取属性-属性值：

抓取格式如下：

属性

属性值

其中th表示加粗处理，td和th中可能有title、id、type等属性值； 同时，它们之间的内容可能存在或或

需要处理等价性。 先解释一下正则表达式获取td值的例子：

参考：

<table>  
<tr>  
<td>序列号</td><td>DEIN3-39CD3-2093J3</td>  
<td>日期</td><td>2013年1月22日</td>  
<td>售价</td><td>392.70 元</td>  
<td>说明</td><td>仅限5用户使用</td>  
</tr>  
</table>

Python代码如下：

# coding=utf-8
import re

s = '''  
  
  
  
  
  
  
序列号DEIN3-39CD3-2093J3日期2013年1月22日售价392.70 元说明仅限5用户使用

''' 

res = r'(.*?)(.*?)'  
m = re.findall(res,s,re.S|re.M)  
for line in m:  
    print unicode(line[0],'utf-8'),unicode(line[1],'utf-8') #unicode防止乱码  

#输出结果如下：  
#序列号 DEIN3-39CD3-2093J3  
#日期 2013年1月22日  
#售价 392.70 元  
#说明 仅限5用户使用

如果

如果包含此属性，则正则表达式为 r'(.*?)

'; 同样，如果不一定是id属性开头，可以使用正则表达式r'

(.*?)

'.

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

7.过滤器等标签

在获取价值的过程中，通常有，

, 等标签，下面是过滤的例子。

(字)翔宇

过滤标签核心代码：

elif "span" in nn: #processing 标签

res_value = r'(.*?)'

m_value = re.findall(res_value,nn,re.S|re.M)

对于 m_value 中的值：

打印 unicode（值，'utf-8'），

代码如下，注意print中的逗号连接字符串：

# coding=utf-8
import re

language = '''




d













周恩来
性別：男
異名：(字) 翔宇
政黨：中国共产党
籍貫：浙江省绍兴市

''' 

#获取table中tr值
res_tr = r'(.*?)'
m_tr =  re.findall(res_tr,language,re.S|re.M)
for line in m_tr:
    #获取表格第一列th 属性
    res_th = r'(.*?)'   
    m_th = re.findall(res_th,line,re.S|re.M)
    for mm in m_th:
        if "href" in mm: #如果获取加粗的th中含超链接则处理
            restr = r'(.*?)'
            h = re.findall(restr,mm,re.S|re.M)
            print unicode(h[0],'utf-8'), #逗号连接属性值 防止换行
        else:
            print unicode(mm,'utf-8'),   #unicode防止乱

    #获取表格第二列td 属性值
    res_td = r'(.*?)'  #r'(.*?)'
    m_td = re.findall(res_td,line,re.S|re.M)
    for nn in m_td:
        if "href" in nn: #处理超链接
            res_value = r'(.*?)'
            m_value = re.findall(res_value,nn,re.S|re.M)
            for value in m_value:
                print unicode(value,'utf-8'),
        elif "span" in nn: #处理标签
            res_value = r'(.*?)'
            m_value = re.findall(res_value,nn,re.S|re.M) #(字) 翔宇
            for value in m_value:
                print unicode(value,'utf-8'),
        else:
            print unicode(nn,'utf-8'),
        print ' ' #换行

输出如下所示：

>>> 
性別： 男  
異名： (字) 翔宇  
政黨： 中国共产党  
籍貫： 浙江省 绍兴市  
>>>

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

8.获取等标签内容

例如在获取优讯网图库时，脚本中存储了图集对应的原图，其中获取原图-original，缩略图-thumb，大图-big，网址为通过正则表达式下载：

res_original = r'"original":"(.*?)"' #原图

m_original = re. findall（res_original，脚本）

代码如下：

# coding=utf-8
import re
import os 

content = '''
var images = [  
{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",  
  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",  
  "original":"http://i-2.yxdown.com/2015/3/18/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",  
  "title":"","descript":"","id":75109},  
{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/fec26de9-8727-424a-b272-f2827669a320.jpg",  
  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/fec26de9-8727-424a-b272-f2827669a320.jpg",  
  "original":"http://i-2.yxdown.com/2015/3/18/fec26de9-8727-424a-b272-f2827669a320.jpg",  
  "title":"","descript":"","id":75110},   
  
''' 

html_script = r'(.*?)'  
m_script = re.findall(html_script,content,re.S|re.M)  
for script in m_script:
    res_original = r'"original":"(.*?)"' #原图
    m_original = re.findall(res_original,script)
    for pic_url in m_original:
        print pic_url
        filename = os.path.basename(pic_url) #去掉目录路径,返回文件名
        urllib.urlretrieve(pic_url, 'E:\'+filename) #下载图片

运行结果如下图，图片同时下载到E盘。

参考文章：

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

9.通过替换过滤

标签

在获取值的过程中，通常会保存

标签，表示 HTML 换行符。 常用的方法可以通过标签''进行过滤，不过这里要说的是Python中常用的过滤方法。 在处理中文乱码或者一些特殊字符的时候，可以使用函数replace来过滤掉这些字符。 核心代码如下：

如果 '

' 的价值：

价值=价值。 代替（'

','') #过滤标签

value = value.replace('n',' ') #换行空格替换或者总是换行

过滤前后示例：

大红阿异名：（字）后安

(谥号)吴庄

（勇敢的）Akdachun Baturu

大红阿的别名：（字）后安（谥号）乌庄（号）阿克达春·巴图鲁

正则表达式忽略大小写_正则表达式转换正则文法_js正则表达式忽略空格

10.得到

超级链接和过滤器

标签

在获取value属性值的过程中，分析table/tr/th/td标签后可能仍然存在

图片链接，在获取文字内容的时候，可能需要过滤掉这些

标签。 这里使用的方法如下：

value = re.sub(']+>','', 值)

例如：

#encoding:utf-8
import os
import re

value = '''
<table class="infobox" style="width: 21em; text-align: left;" cellpadding="3">
<tr bgcolor="#CDDBE8">
<th colspan="2">
<center class="role"><b>中華民國政治人士</b><br /></center>
</th>
</tr>
<tr>
<th>性別：</th>
<td>男</td>
</tr>
<tr>
<th>政黨：</th>
<td><span class="org">
<img alt="中國國民黨" src="../../../../images/Kuomintang.svg.png" width="19" height="19" border="0" />
<a href="../../../../articles/%8B%E6%B0%91%E9%BB%A8.html" title="中國國民黨">中國國民黨</a></span></td>
</tr>
</table>
'''

value = re.sub('<[^>]+>','', value) #过滤HTML标签
print value

输出如下：

>>> 

中華民國政治人士

性別：
男

政黨：

中國國民黨

>>>

虽然只包含汉字，但是中间会有换行符，需要过滤掉

你可以：

if '
' in value:
    value = value.replace('
','')
    value = value.replace('n',' ')
value = re.sub(']+>','', value) #过滤HTML标签
print value

#输出仅仅一行如下： 
#中華民國政治人士    性別： 男   政黨：   中國國民黨 

下面介绍第二部分，通过正则表达式得到

中的src超链接，代码如下：

test = ''''''
print re.findall('src="(.*?)"',test) 

输出如下所示：

>>>    
['../images/Kuomintang.png']
>>>

findall函数总是返回字符串中正则表达式所有匹配结果的列表，即findall返回的列表中每个元素所包含的信息。

最后，希望文章对你有所帮助。 如果以后遇到新的相关知识，我会第一时间更新补充。

推荐↓↓↓

长的

根据

关闭

笔记

【】都在这里！

涵盖：大程序员、源码分享读物、程序员分享读物、数据结构与算法、黑客技术与网络安全、大数据技术、编程前端、Java、Python、Web编程开发、Android、iOS开发、Linux、数据库研发、幽默程序员等

上一篇 eclipse注释快捷键 IntelliJ IDEA 2019 快捷键终极大全，速度收藏
下一篇 中国货币史之旅 | ①VR带你走进中国钱币博物馆

相关文章