基于Spark与Hive的电商平台数据分析

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

立即开通

个人中心

我的智研

退出登录

简繁

搜索

DOI: 10.18686/jsjxt.v3i2.46792

基于Spark与Hive的电商平台数据分析

许晴, 张桂花

四川大学锦城学院计算机与软件学院

全文直达

引用

打印

摘要：随着时代与计算机的发展，大数据席卷了全球，并为各大公司带来了惊人的收益。本次研究的目的是区分Spark与Hive的不同之处，便于选取合适的分析工具。本文针对某电商平台采集到的数据与提出的需求设计了两种方法，实现了电商平台对热门品类的统计与活跃的会话ID的统计。在实现方法的过程中对比Spark与Hive的具体实现方式，明确两种工具完成相同需求的不同之处。对比的结果证明Spark与Hive可以相互独立运行、Spark实现需求的难度高于Hive、Hive环境搭建难度高于脱离Hadoop的Spark。

关键词：

大数据;Hive;Spark；电商平台；数据分析

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2021,3(2)