手机版 English 帮助中心
外文文献知网节
文献信息节点
基本信息 摘要 关键词 核心评价 相关文献
Journal | [J] 计算机系统网络和电信 Volume 1, Issue 3. 2019.
浅析网络爬虫的关键技术
作者 : 毛 红霞
DOI: 10.18686/jsjxt.v1i3.1277
全部来源
获取全文
摘要 / Abstract
大数据已经渗透到当今每一个行业和业务职能领域
,
成为重要的生产因素
。
在海量数据中高效率
准确地获取有效数据
,
越来越得到关注
。
运用网络爬虫技术能够快速
、
高效地获取大量数据
。
本文介绍了
基于
Python
的网络爬虫所涉及到的关键技术
:
爬虫架构
、
爬取策略
、Python
中实现
HTTP
请求
、Python 中实现网页解析
、Python
爬虫框架
。
并针对网站的常用的反爬策略制定了相应的应对措施
关键词 / Keywords
Python;网络爬虫;爬取策略
Related articles / 相关文献
相似文献
作者发文
机构发文
关键词分析
相似文献（说明：与本文内容较接近的文献）
  • 蜘蛛抓取策略:广度优先和深度优先分析. https://blog.csdn.net/zhouhaisunny/article/details/78698448 [2]唐琳,董依萌,何天宇.基于 Python的网络爬虫技术的关键性问题探索[J].电子世界,2018(14): 32-33[3]刘贵平,刘娜,段红义.基于聚焦网络爬虫技术的人才招聘数据采集[J].电脑编程技巧与维护,2018 (05):69-71 [4]刘顺程,岳思颖.大数据时代下基于 Python的网络信息爬取技术[J].电子技术局与软件工程,2017 (21):160-160 [5]李琳.基于 Python的网络爬虫系统的设计与实现[J].信息通信,2017(9):26-27 [6]邹科文,李达,邓婷敏,等.网络爬虫针对“反爬”网站的爬取策略研究[J].电脑知识与技术,2016,12 (7):61-63
《中国学术期刊(光盘版)》电子杂志社有限公司 KDN平台基础技术由KBASE 11.0提供
© 2014-2018中国知网(CNKI) 京公网安备11010802020460号 经营性网站备案信息 互联网出版许可证 新出网证(京)字271号 京ICP证040431号