通过路由,交换,安全,Qos四大典型技术模块同你分享网络运维中的技术难题,让老司机带你躲过网络运维常见的那些坑, 查看详情>>>
0

我的帖子

个人中心

设置

  发新话题
今天我用requests和BeautifulSoup爬取小说的时候遇到个奇葩的问题,获取的数据不完整,而且在终端获取的数据和在pycharm里获取的数据也不一样,
先看环境、代码和结果:
环境:ubuntu,python3.5 ,pycharm-community-2017.3.3

代码:pycharm和终端都一样
import requests
q = requests.get(url='https://www.qisuu.com/du/36/36877/9958902.html')
q.encoding = q.apparent_encoding
print(q.text)结果:只贴了不同部分
pycharm:<div  id="content1"><br />    “武魂,是上天赋予斗罗大陆的一种神奇力量。它多种多样、它无处不在。哪怕是普通人,也同样能够从武魂之中受益。你的武魂是一把锄头,那么,你耕地的能力就会比别人强,你的武魂是一把斧子,你就能比别人砍更多的树。而你们,在场的每一位,也包括我,我们都是上天眷顾的对象,因为我们不止有武魂,还伴生出了魂力,从而能够成为一名魂师。”</div>
<script type="text/javascript">read_bot();</script>





终端:<div  id="content1">
<br />    但他没有,他依旧将自己的修为压制在了九十五级,不让自己轻易提升。选择了厚积薄发,更好的构筑根基。同时<br />    位面法则从某种意义上来说已经和神的力量十分近似了,他体内的封印就是当初唐三的神的力量,所以,相对来说<br />    那些提升的魂力,被唐舞麟刻意压缩,再通过古月娜送给他的冰神珠之力来进行压制,将其浓缩在自己的龙核之中<br />    这样除了能够稳固金龙王封印之外,还有另外一个好处,那就是如果未来唐舞麟不顾一切的想要提升自身修为,甚<br />    淡淡的七彩光芒渐渐变得浓郁起来,将整个房间都映照成了七彩色,那是位面之力引导来的纯粹元素,洗礼着唐舞<br />    “当、当、当、当、当、当、当、当、当!”九声悠扬的钟声在史莱克学院内回荡,钟声袅袅,传向远方,也传向海<br />    这是集合的钟声,在史莱克学院的传统中,只有需要全体师生全部集合的时候,才有九声钟鸣响起,预示着有很重<br />    和史莱克全盛时期六个年级聚集的场面相比,这当然算不了什么,甚至在这宽阔的操场上,一百多人显得有些单薄<br />    操场正前方,是一个宽阔的平台,此时,唐舞麟站在正中央,他身边正是史莱克七怪的其他六人,还有外院院长舞<br />    因为,在那里,他看到了年轻时候的父母,看到了初入史莱克学院时的父母,第一次看到他们的时候,他甚至痛哭<br />    而从那一刻开始,他对七老魔就再没有半分芥蒂了,爸爸当时看上去还普通,妈妈那个时候也好美。这在他心目中<br />    毫无疑问,面前的这些孩子们都经历了那场回忆,都亲眼见证了史莱克学院是从何而来,这就是底蕴、这就是传统<br />    史莱克学院最强大的地方,就在于当初的第一代七怪曾经力挽狂澜,令魂师界有了后来的气象。否则,一统天下的<br />    唐门的创始人,史莱克的第一代人,那都是历史上真正的英雄,而绝非任何故事杜撰出来的。而事实往往最能感动<br />    这些孩子们不过都是十一、二岁的年纪,正是最容易被感动的时候。他们每个人都还单纯的犹如白纸,而如何在这<br />    看着下面的一百多人,唐舞麟心中略微有些恍惚,十几年前,他还曾站在下面,就像现在这些年轻人们一样,充满<br />    “大家好,我是舞长空,史莱克学院外院院长。”舞长空朗声说道:“从今天开始,你们已经是学院的一员。或许你们都听说了,史莱克学院曾经被恶势力暗算,遭遇过了那场大劫难。直到现在,我们依旧没有从那场大劫难的悲伤之中恢复过来。但是,你们更应该清<br />    “重建的史莱克和以前并没有什么不一样,我们的要求依旧严格,如果有一天,当你不能适应这里的节奏,那么,抱<br />    舞长空面容依旧冷峻,和十几年前相比,现在的他从外貌上根本看不出什么区别。站在他身边,唐舞麟突然有点想<br />    冷峻的舞老师现在已经变成了威严的舞院长,和以前相同的是,他依旧是那个白衣蓝剑、冰天雪寒,自己心目中的<br />    “下面,请海神阁阁主,学院的掌舵者,龙皇斗罗唐舞麟冕下讲话。”舞长空在一系列的开场白之后,引出了唐舞麟<br />    “武魂,是上天赋予斗罗大陆的一种神奇力量。它多种多样、它无处不在。哪怕是普通人,也同样能够从武魂之中受益。你的武魂是一把锄头,那么,你耕地的能力就会比别人强,你的武魂是一把斧子,你就能比别人砍更多的树。而你们,在场的每一位,也包括我,我们都是上天眷顾的对象,因为我们不止有武魂,还伴生出了魂力,从而能够成为一名魂师。”</div>

而且和源文件还是有差。



这些有啥好爬的,一起挑战下谷歌好么。。。 反爬机制是真的烦



‹‹ 上一贴:初学者!遇到点疑问   |   下一贴:Python爬虫实战:抓取并保存百度云资源 ... ››
  发新话题
快速回复主题
关于我们 | 诚聘英才 | 联系我们 | 网站大事 | 友情链接 |意见反馈 | 网站地图
Copyright©2005-2018 51CTO.COM
本论坛言论纯属发布者个人意见,不代表51CTO网站立场!如有疑义,请与管理员联系:bbs@51cto.com