大数据处理初级

默认教学计划
64人加入学习
(0人评价)
价格 ¥2999.00
教学计划
承诺服务
抱歉,该课程为限制课程,请联系客服
课程介绍

【课程简介】

通过本课程,你能够掌握大数据处理目前比较主流的三大分布式计算系统Hadoop、Spark、Storm,以及k-v类型的数据存储系统的基本原理,简单运维,以及基于这些框架的编码开发。适合需要使用这些平台进行数据处理协助进行数据分析和算法设计的从业人员,也适合有一定开发经验想快速进入大数据处理领域的人员。

【大咖导师】

呼老师-前百度资深工程师

中国科学技术大学、香港城市大学双博士,读博期间获得朱李月华优秀博士生奖。2008年加入百度自然语言处理部篇章分析组的技术负责人,拥有10项专利申请。2014年创业,任职数据部技术总监,负责数据挖掘分析技术部,为客户提供大数据分析及消费者分析的整体解决方案。现在进行互联网金融方面的创业。

【课程内容】

章1大数据简介与mr入门

  • 节1大数据处理与课程简介
  • 节2目前的生态环境
  • 节3Hadoop介绍
  • 节4Hadoop的基础架构
  • 节5Hdfs文件系统
  • 节6Mr模型引入
  • 节7实训:Hadoop环境搭建及hdfs文件操作

章2MapReduce的原理和应用

  • 节1Mapreduce模型完整介绍
  • 节2Mapreduce的实现原理
  • 节3Mapreduce的主要接口
  • 节4Mapreduce的使用场景
  • 节5实训:Mr作业编写

章3Hive与Zookeeper

  • 节1Hive介绍
  • 节2Hive的基本原理
  • 节3Hive的接口
  • 节4Hive数据模型
  • 节5Zookeeper简介和基本原理
  • 节6实训1:Hive环境搭建
  • 节7实训2:Hive的基础操作、sql操作及udf实现

章4Storm与heron

  • 节1Strom的来源
  • 节2Strom的基本原理与架构
  • 节3Strom一个实例的分析实现
  • 节4Strom常见的模式
  • 节5Heron的简介
  • 节6Heron架构
  • 节7Heron与strom的不同
  • 节8实训1:strom环境搭建
  • 节9实训2:strom的实例编写

章5Spark

  • 节1Spark的前身后世
  • 节2Spark目前的应用
  • 节3Spark模型介绍
  • 节4Spark编程介绍
  • 节5Spark架构
  • 节6Spark实例
  • 节7Spark的优势
  • 节8实训:Spark环境搭建和运行;spark下实现一个mr以及一个机器学习的算法

章6k-v系统

  • 节1Nosql引入
  • 节2Redis
  • 节3Mongdb
  • 节4Leveldb
  • 节5其它常见的nosql

授课教师

教务长

学员动态

userpsc6zd 加入学习
usera3hp1b 加入学习
usern415ny 加入学习
userny5npa 加入学习
userr3l8ud 加入学习