基于Python的数据爬取系统的设计——

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

立即开通

个人中心

我的智研

退出登录

简繁

搜索

DOI: 10.18686/jsjxt.v1i3.1260

基于Python的数据爬取系统的设计———以房屋信息爬取为例

毛红霞

四川大学锦城学院

全文直达

引用

打印

摘要：互联网技术的广泛应用使得网络资源爆炸式增长,在海量数据中查找所需数据是十分耗时耗力的事情。房屋信息是国民关注的热点话题之一,运用网络爬虫技术,可以快速准确地获取各大平台的房屋信息。本文采用Python语言结合爬虫技术设计了房屋信息数据爬取系统,设计了URL管理器、网页下载、网页分析、数据采集、数据保存等模块。通过系统的运行,成功地将目标网站上的房屋信息及图片保存下来。

关键词：

Python;数据爬取;反爬策略;

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2019,1(3)