请选择时期:
怀孕准备 怀孕 分娩 宝宝0-1岁 宝宝1-3岁 宝宝3-6岁

python安装requests库

来源: 最后更新:22-12-07 09:06:30

导读:通过前几节课的学习,我们大概了解了通过urllib模块怎么样获取数据、解析数据、保存数据得到我们想要的数据了,今天呢,就给大家介绍一个Python爬虫获取数据的另外一个方法requests库。那么

  通过前几节课的学习,我们大概了解了通过urllib模块怎么样获取数据、解析数据、保存数据得到我们想要的数据了,今天呢,就给大家介绍一个Python爬虫获取数据的另外一个方法requests库。那么urllib和requests哪个好?urllib和requests有什么区别呢?2xR宝宝百科网

  1.requests库怎么安装2xR宝宝百科网

  我们已经讲解了Python内置的urllib模块,用于访问网络资源。但是,它用起来比较麻烦,而且,缺少很多实用的高级功能。2xR宝宝百科网

  更好的方案是使用requests。它是一个Python第三方库,处理URL资源特别方便。2xR宝宝百科网

  requests库的安装与安装其他第三方应用一样(如下图):2xR宝宝百科网

  2xR宝宝百科网


2xR宝宝百科网

  2xR宝宝百科网


2xR宝宝百科网

  2.requests库怎么使用。2xR宝宝百科网

  我们以简单的抓取百度网页(https://www.baidu.com/)为例进行操作:2xR宝宝百科网

  第一步,导入requests库2xR宝宝百科网

  2xR宝宝百科网


2xR宝宝百科网

  第二步,发起请求。2xR宝宝百科网

  首先我们需要判断请求类型。最常见的请求方式为 GET 和POST,我们可以通过右击检查-network-headers-Request Method可以看到该页面的请求方式为get2xR宝宝百科网

  2xR宝宝百科网


2xR宝宝百科网

  因此我们发起请求的格式为:2xR宝宝百科网

  requests.get(网页地址)2xR宝宝百科网

  第三步,获取网页内容。2xR宝宝百科网

  首先我们需要判断我们获取到的网页是什么类型,同样可通过右击检查2xR宝宝百科网

  -network-headers-Content-Type可以看到该网页的内容为text类型2xR宝宝百科网

  2xR宝宝百科网


2xR宝宝百科网

  因此我们获取网页的基本格式为:2xR宝宝百科网

  response.text2xR宝宝百科网

  如下图即可输出网页内容:2xR宝宝百科网

  2xR宝宝百科网


2xR宝宝百科网

  第四步,存储网页信息。2xR宝宝百科网

  基本格式为:2xR宝宝百科网

  with open(保存的文件名,读写模式,encoding="utf-8") as 变量:2xR宝宝百科网

  变量.write(网页内容)2xR宝宝百科网

  2xR宝宝百科网


2xR宝宝百科网

  以上就是关于requests的用法,我们可以结合之前学过的内容,想想urllib与requests哪个更加方便,以及对于有反爬虫机制的网站,又应该如何用requests获取内容信息,下节课,我们对比一下urllib与requests的区别的是什么?以及urllib与requests哪种更好。2xR宝宝百科网


2xR宝宝百科网

标签: [db:关键词]  

免责声明:本文系转载,版权归原作者所有;旨在传递信息,其原创性以及文中陈述文字和内容未经本站证实。

本文地址:http://www.bbbaike.com/news/jiaodian/328913.html

  • 1她41岁当上副县长,却甘愿被商人围猎!中纪委最新披露……

    她41岁当上副县长,却甘愿被商人围猎!中纪委最新披露……

  • 22023年5月16日浙江省成品油价格按机制下调

    2023年5月16日浙江省成品油价格按机制下调

  • 3常州-10号柴油多少钱一升?(常州柴油价今日价格)

    常州-10号柴油多少钱一升?(常州柴油价今日价格)

  • 4银行卡忘记密码了怎么办 银行卡忘记密码了怎么办手机上

    银行卡忘记密码了怎么办 银行卡忘记密码了怎么办手机上

  • 5南阳卧龙区妇幼保健院九价疫苗开放预约

    南阳卧龙区妇幼保健院九价疫苗开放预约

  • 6户口迁城市的好处 户口迁城市有什么好处

    户口迁城市的好处 户口迁城市有什么好处

  • 7南阳卧龙区妇幼保健院520九价到苗消息

    南阳卧龙区妇幼保健院520九价到苗消息

  • 8征信记录怎么查看 征信记录怎么查看个人信息

    征信记录怎么查看 征信记录怎么查看个人信息

  • 9南阳卧龙区妇幼保健院二价疫苗开放预约

    南阳卧龙区妇幼保健院二价疫苗开放预约

  • 10洛阳毕业生团组织关系转接指南(洛阳市团组织关系转接)

    洛阳毕业生团组织关系转接指南(洛阳市团组织关系转接)

关于我们 | 广告服务 | 网站合作 | 免责声明 | 联系我们| 网站地图

© 2006-2022 宝宝百科网 all rights reserved.

声明: 本站文章均来自互联网,不代表本站观点 如有异议 请与本站联系 联系邮箱:kefu#bbbaike.com (请把#替换成@)