大数据处理高级

分布式进阶、性能优化

默认教学计划
36人加入学习
(0人评价)
价格 ¥5999.00
教学计划
承诺服务
抱歉,该课程为限制课程,请联系客服
课程介绍

【课程简介】

通过本课程,你可以对分布式是系统设计的原理有着深刻的认识和理解,可以实现更高效的分布式程序,对hadoop的性能优化有着进更深入的认识,掌握复杂问题的解决方案。同时也对其他一些常见的nosql解决方案有所了解。

【大咖导师】

呼老师-前百度资深工程师

中国科学技术大学、香港城市大学双博士,读博期间获得朱李月华优秀博士生奖。2008年加入百度自然语言处理部篇章分析组的技术负责人,拥有10项专利申请。2014年创业,任职数据部技术总监,负责数据挖掘分析技术部,为客户提供大数据分析及消费者分析的整体解决方案。现在进行互联网金融方面的创业。

【课程内容】

章1hdfs mapreduce高阶

  • 节1Hdfs 模型回顾
  • 节2Hdfs进阶
  • 节3Mr回顾
  • 节4Mr编程高阶技巧
  • 节5Mr的Secondary sort
  • 节6实训:Mr高阶控制技巧实践及Secondary sort实现

章2hbase

  • 节1Hbase简介
  • 节2Hbase的数据模型
  • 节3Hbase的架构
  • 节4hbase的关键流程
  • 节5实训:hbase环境搭建及编程实践

章3Yarn

  • 节1hadoop的问题
  • 节2Yarn引入
  • 节3Yarn架构
  • 节4Yarn的开发
  • 节5实训:Yarn环境搭建及操作实践

章4大数据系统下的数据仓库

  • 节1平台应用场景
  • 节2传统数据仓库
  • 节3大数据时代的特点
  • 节4理论基础
  • 节5调度与入库
  • 节6模型与多维度分析
  • 节7实训:全面搭建一个模拟的数据仓库系统

章5zookeeper

  • 节1背景
  • 节2Paxos协议简介
  • 节3Zookeeper架构
  • 节4Zookeeper使用接口
  • 节5Zookeeper的应用场景
  • 节6实训:利用zk实现一个分布式锁服务

章6理论提升

  • 节1分布式系统定义
  • 节2系统分类
  • 节3事务与并发解决
  • 节4故障恢复及异常处理
  • 节5一致性原理
  • 节6实训:实现一个简单的冗灾处理系统

授课教师

教务长

学员动态

userg09s8h 加入学习
user6zfaef 加入学习
userpqxsfx 加入学习
userobgrn7 加入学习
userd9b921 加入学习