基于 Spark 和 kafka 的视频网站用户需求大数据应用

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

立即开通

个人中心

我的智研

退出登录

简繁

搜索

DOI: 10.18686/jsjxt.v2i2.21077

基于 Spark 和 kafka 的视频网站用户需求大数据应用

胡云彰, 张桂花

四川大学锦城学院计算机与软件学院　四川　成都

全文直达

引用

打印

摘要：视频网站流量的大量喷涌促进了资本的注入，也给投资者、运营者对于数据的强烈需求。怎么获取用户在视频网站上的行为点击就成了重中之重。Spark 是当前大数据领域优秀的计算框架，其中 Spark Streaming 组件是基于 Spark 的实时流处理技术，采用一系列短暂、无状态、确定性的批处理技术实现。kafka 是一个分布式平台，用于发布和订阅记录流且以容错方式永久粗存储记录流，本文将 Spark 和 Kafka 结合用于研究视频网站的用户需求，包括电脑的鼠标点击以及手机端的滑动交互。从而实现对视频网站流量的精准分析，通过可视化方式进行展示，为决策层提供数据保障。

关键词：

大数据；Spark；Kafka；Java Web；Spark Streaming；Python；Springboot；Flume

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2020,2(2)