K8凯发(中国)天生赢家·一触即发

Hadoop实战教学视频---海量Web日志分析用Hadoop提取KPI指标
栏目:k8凯发官网 发布时间:2025-12-24
 前况客创始人兼CTO,10 年的IT编程背景,多项SUN及IBM技术认证,连续创业者。丰富的互联网应用开发架构经验,精通R ,Java, Nodejs 多种编程语言,学习大数据处理,数据挖掘等核心技术,有...  让听众了解Web日志分析概述,通过案例介绍、KPI指标设计等方面进行需求分析,讲解算法模型和程序开发多面过程,下载Time的统计结果。  主要用Hadoop处理Web日志数据,包括:

  前况客创始人兼CTO,10 年的IT编程背景,多项SUN及IBM技术认证,连续创业者。丰富的互联网应用开发架构经验,精通R ,Java, Nodejs 多种编程语言,学习大数据处理,数据挖掘等核心技术,有...

  让听众了解Web日志分析概述,通过案例介绍、KPI指标设计等方面进行需求分析,讲解算法模型和程序开发多面过程,下载Time的统计结果。

  主要用Hadoop处理Web日志数据,包括:Web日志分析概述,KPI指标设计,Hadoop并行算法,日志KPI系统架构,用Maven构建Hadoop项目,MapReduce程序实现 几个方面的内容。

  本视频为Hadoop实战视频,在给Dataguru网络课程《Hadoop应用开发实战案例》培训时录制,Web日志包含着网站重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访问人数最多,哪个网页最有价值等。一般中型的网站(10W的PV以上),每天会产生1G以上Web日志文件。大型或超大型的网站,可能每小时就会产生10G的数据量。

  张丹,前况客创始人/CTO,精通R/Java/Nodejs多种编程语言,10年以上IT编程背景,多项SUN及IBM技术认证。丰富互联网应用开发架构经验,著有《R的极客理想—工具篇》、k8凯发集团《R的极客理想—高级开发篇》图书。

  KPI指标设计本节简单介绍了5个指标,分别针对这5个指标做下程序设计,由于电商数据保密,用个人数据来做个案例分析,从商业的角度,个人网站的特征与电商网站不太一样,没有转化率,同时跳出率也比较高。 从技术的角度,同样都关注KPI指标设计。

  Hadoop并行算法并行算法包括以下几方面:PV(PageView): 页面访问量统计IP: 页面独立IP的访问量统计Time: 用户每小时PV的统计Source: 用户来源域名的统计Browser: 用户的访问设备统计