我的小窝

slackware爱好者

日志

关于我

cnzh

文章分类

LOFTER精选

八招诀窍，教你实力撩妹 >

网易考拉推荐

【转载】Beautifulsoup的几个问题

2017-02-17 16:08:31| 分类：计算机与互联网 | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

本文转载自palydawn《Beautifulsoup的几个问题》

使用beautifulsoup解析网页的时候出现的问题

Beautifulsoup的构造如下：

soup = BeautifulSoup(doc, from_encoding="gbk")

网页中指定的编码方式：

出现的问题：

解析某些网页的时候提示：

WARNING:root:Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

同时有些网页解析的结果还带有乱码。

上网查了一下，把soup = BeautifulSoup(doc, from_encoding="gbk") 改为

soup = BeautifulSoup(doc, from_encoding="gb18030")

再运行的时候可以了。

还有一个问题：

RuntimeError: maximum recursion depth exceeded

超过了最大的递归次数。

查到了原因：<br>标签泛滥

使用print(soup.prettify())可以发现，beautifulsoup会为所有的<br>标签添加一个</br>，并且把连续出现的第一个<br>当做第一层，第二个当做第二层<br>，。。。，由于文档中连续出现的<br>太多了，导致了上面的异常。

beautifulsoup的这种作法有点坑，貌似没看到哪个地方有说明的，要不是之前偶然遇到过这种事，还真不知道怎么查原因。在网页里面写<br>标签的也坑爹，为什么不能写成<br/>，这样就不会有问题了。Beautifulsoup把<br>整理成<br>chao</br>这种形式，为什么不直接替换成<br/>，有人会写<br>chao</br>这种形式的网页吗。

验证：

doc = 'palydawn<br>zhang<br>chao'

soup = BeautifulSoup(doc)

print soup.prettify()

执行结果是：

palydawn

<br>

zhang

<br>

chao

</br>

解决这种问题的办法：

自己在每个<br>后面添加一个/，变成<br/>。

评论这张

转发至微博

阅读(36)| 评论(0)

推荐转载

历史上的今天

在LOFTER的更多文章

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_087075083087085075082081083067072087081064080085086066',
              blogTitle:'【转载】Beautifulsoup的几个问题',
              blogAbstract:'<p\><br\></p\>  <p\><span style=\"font-family:宋体;mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋体;mso-fareast-theme-font: minor-fareast;mso-hansi-font-family:Calibri;mso-hansi-theme-font:minor-latin;\"   \>使用</span\><span lang=\"EN-US\"   \>beautifulsoup</span\><span style=\"font-family:宋体;mso-ascii-font-family: Calibri;mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋体;mso-fareast-theme-font: minor-fareast;mso-hansi-font-family:Calibri;mso-hansi-theme-font:minor-latin;\"   \>解析网页的时候出现的问题</span\><span lang=\"EN-US\"   \></span\></p\>  <p\><span lang=\"EN-US\"   \> </span\></p\>  <p\><span lang=\"EN-US\"   \>Beautifulsoup</span\></p\>',
              blogTag:'',
              blogUrl:'blog/static/103430120171174831247',
              isPublished:1,
              istop:false,
              type:0,
              modifyTime:0,
              publishTime:1487318911247,
              permalink:'blog/static/103430120171174831247',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:0,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:false,
              hostIntro:'',
              hmcon:'1',
              selfRecomBlogCount:'0',
              lofter_single:'<a hidefocus="true" target="_blank" href="http://inpin.blog.163.com/blog/static/2633040402016620112520219/"><img onload="var nimg = new Image(); nimg.src=\'http://blog.163.com/newpage/images/analyse.png?lofter_single&t=\'+new Date().getTime()" border="0" src="http://imglf.nosdn.127.net/img/TlZCWHdFWFpidkQ1dGtJK1N5cFRBNzBLUFFPYnJEVi9LWk1KTzJlMTU2Yz0.jpg"/></a>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/103430120171174831247">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 博客风格 - 手机博客 - 下载LOFTER APP - 订阅此博客

我的小窝

导航

日志

【转载】Beautifulsoup的几个问题

历史上的今天

最近读者

热度

在LOFTER的更多文章

评论

页脚