精品国产二区在线_欧美无乱码久久久免费午夜一区_久久99蜜桃综合影院免费观看_欧美一区二区视频在线

       1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
       2、課程完成后,授課老師留給學員手機和Email,保障培訓效果,免費提供半年的技術支持。
       3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書，提升職業資質。專注高端技術培訓15年，曙海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，曙海的證書受到廣泛認可。

• 培訓特色
  系統的講解Hadoop及主要周邊生態的基本原理，安裝，部署，維護及開發。偏重于部署維護方向，中間會對Linux，網絡，服務器硬件Raid等進行系統的學習和了解。力求讓學員全方位掌握Hadoop及相關的其他知識。了解Hadoop各生態的特點和應用場景。
• 目標收益
  可獨立完成Hadoop的部署，運維，監控及故障處理。獨立完成整體Hadoop從網絡到軟件層面的架構設計，Hadoop及周邊生態的性能優化。
• 培訓對象
• 開始對Hadoop感興趣或已使用Hadoop，希望進行性能調優或架構優化。
• 學員基礎
• 需具備基本Linux操作系統安裝及常規命令行操作知識。
• 課程大綱
  
• 主題 內容
  Hadoop在云計算技術的作用和地位
• 傳統大規模數據分析存在的問題
  Hadoop概述
  Hadoop與分布式文件系統
  MapReduce的工作原理與機制
  Hadoop集群剖析
  Hadoop生態系統
  Hadoop的行業應用案例分析
  Hadoop在云計算和大數據的位置和關系
  案例演示：阿里集團技術平臺，Hadoop在淘寶、支付寶的作用
  電商眼中的Hadoop和推薦系統。
  暴風數據平臺：Hadoop對于產品優化的價值。
  Hadoop對于趣游、熱酷等游戲公司的作用
  移動大云項目(big cloud)中的Hadoop
  聯通使用Hadoop/Hbase解決3G詳單查詢問題。
• Hadoop參數調優
• 選擇適合hadoop的硬件配置
  Hadoop配置項優化
  Hadoop配置優化 - core-site.xml
  Hadoop配置優化 - HDFS
  Hadoop配置優化 - hdfs-site.xml
  Hadoop配置優化 - mapred-site.xml
  Hadoop配置優化 - 機架感知
  網絡帶寬參數調優
  系統參數調優
  配置文件管理
  嚴格控制root權限
  Java的GC模式
  選擇正確的JDK
  hadoop作業調優
  Map side tuning設置
  Map side設置
  Linux操作系統優化
  其他配置和參數調優
  core-default.xml，
  hdfs-default.xml，
  mapred-default.xml。
  mapred-site.xml
  mapred.tasktracker.map.tasks.maximum
  mapred.reduce.slowstart.completed.maps
  mapred.fairscheduler.preemption
  mapred.jobtracker.completeuserjobs.maximum
  mapred.jobtracker.update.faulty.tracker.interval
  mapred.jobtracker.max.blacklist.percent
  案例演示：Hadoop硬件優化
  不是所有的硬件都合適拿來直接使用
  安裝調優的第一步服務器硬件的選型的竅門
  如何選擇適合業務使用的CPU
  內存越大越好嗎？設置合理的的內存配置
  連接網絡的選擇和優化
  高速硬盤的選擇注意事項
  硬盤為什么不做raid？
  設置網絡的注意事項
  中間結果壓縮對磁盤和網絡的優化
  機架感知，網絡和磁盤IO優化作用，確定存儲的具體位置，
  內存參數，map/reduce槽位數的計算方法。
  對磁盤和網絡的優化
  Java工具使用，jstack使用
  Sun和open之間的區別，JIT編譯器的使用
  inux系統參數調優
  Linux監控系統的使用
  cacti,
  ganglia
  常用的linux排錯工具lsof,strace,iostat,vmstat,netstat...
  常見異常現象級處理方法
  網卡流量導致連接失敗
  權限錯誤
  主機名IP轉換錯誤
  NN與DN namespaceID不一致
  磁盤滿導致報錯
  Jave heap size OOM
• 精彩案例及故障解決方法解析
• 案例一：namenode被重新格式化，datanode無法連接
  現象：namenode 中的namespaceID與datanode中的namespaceID不一致
  案例二：硬盤損壞
  現象：磁盤損壞導致datanode宕機
  案例三：錯誤用戶啟動hadoop
  現象：datanode啟動一段時間后宕機
  案例四：tasktracker重啟后假死
  現象：無報錯，但tasktracker不工作。
  案例五：jobtracker無故宕機
  現象：運行過程中jobtracker宕機
  案例六：datanode無法注冊到namenode
  現象：datanode啟動后到MBean這步掛起不再繼續。
  案例七：tasktracker無法啟動，報權限錯誤
  現象：tasktracker報文件夾創建的權限錯誤后直接退出。
  案例八：主機名設置錯誤
  現象：datanode 和tasktracker無法正常工作
• Hadoop組件詳解
• Hadoop HDFS 基本結構
  Hadoop HDFS 副本存放策略
  Hadoop NameNode 詳解
  Hadoop SecondaryNameNode 詳解
  Hadoop DataNode 詳解
  Hadoop JobTracker 詳解
  Hadoop TaskTracker 詳解
  案例演示：Hadoop Mapper類核心代碼
  Hadoop Reduce類核心代碼
  Hadoop 核心代碼
• Hadoop安裝和部署
• Hadoop系統模塊組件概述
  Hadoop試驗集群的部署結構
  Hadoop 安裝依賴關系
  Hadoop 生產環境的部署結構
  Hadoop集群部署
  Hadoop 高可用配置方法
  Hadoop 集群簡單測試方法
  Hadoop 集群異常Debug方法
  案例演示：Hadoop安裝部署實驗
  Red hat Linux基礎環境搭建
  Hadoop 單機系統版本安裝配置
  Hadoop 集群系統版本安裝和啟動配置
  使用 Hadoop MapReduce Streaming 快速測試系統
  Hadoopcore-site，hdfs-site，mapred-site 配置詳解
• Hadoop和傳統數據庫技術優劣勢對比
• Hadoop/Hive 對比 Oracle 在構建數據倉庫上的優劣勢
  Hadoop 如何和傳統IT系統配合完成原來不可能的任務
  案例演示：Apache社區版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
• 編寫MapReduce高級程序
• 使用 Hadoop MapReduce Streaming 編程
  MapReduce流程
  剖析一個MapReduce程序
  基本MapReduceAPI 概念
  驅動代碼 Mapper、Reducer
  Hadoop流
  API 使用Eclipse進行快速開發
  新MapReduce API
  MapReduce的優化
  MapReduce的任務調度
  MapReduce編程實戰
  如何利用其他Hadoop相關技術，包括Apache Hive， Apache Pig，Sqoop和Oozie等
  滿足解決實際數據分析問題的高級Hadoop API
  案例演示：Hadoop Streaming 和 Java MapReduce Api 差異。
  MapReduce 實現數據庫功能
  利用Combiners來減少中間數據
  編寫Partitioner來優化負載平衡
  直接訪問Hadoop分布式文件系統（HDFS）
  Hadoop的join操作
  輔助排序在Reducer方的合并
  定制Writables和WritableComparables
  使用SequenceFiles和Avro文件保存二進制數據
  創建InputFormats OutputFormats
  Hadoop的二次排序
  Hadoop的海量日志分析
  在Map方的合并
• 精彩案例及故障解決方法解析
• 案例一：控制map & reduce個數
  現象：map個數取決于split個數，如果源文件使用壓縮存儲，則不可分割，一個文件一個map。非壓縮文件使用默認block.size進行切分。對reduce因為是中間數據，可以控制reduce數量。
  案例二：壓縮中間數據
  現象：job中間臨時數據量級大、網絡IO吞吐量大。
  案例三：編程細節，內存溢出
  現象：編程過程中，經常遇到list、map、倒排表等大對象，如果作為局部變量，每次調用map或者reduce方法都初始化這些變量，很容易消耗掉JVM堆內存，出現內存溢出異常。
  案例四：編程細節，計數&日志打印
  現象： System.out.println, System.err.println等日志打印過多會嚴重影響job性能，counter計數也會存在同樣的問題，同時也會造成本地磁盤使用量的急劇增長。
  案例五： 作業調度
  現象：集群上的job非常多時，會出現一些job一直等待，很長一段時間內沒有開始運行。默認的任務調度器FIFO并不能滿足實際工作應用。
  案例六：Combiner優化
  現象： map輸出數據量非常大，reduce input group遠小于reduce input group時，存在大量的網絡IO，這些IO中的一部分數據可以在本地做完合并，然后再進行reduce操作。
• 使用Hive和Pig開發及技巧
• Hive和Pig基礎
  Hive的作用和原理說明
  Hadoop倉庫和傳統數據倉庫的協作關系
  Hadoop/Hive倉庫數據數據流
  Hive 部署和安裝
  Hive Cli 的基本用法
  HQL基本語法
  使用Oozie的動機
  Oozie工作流定義格式
  案例演示：使用JDBC 連接Hive進行查詢和分析
  使用正則表達式加載數據
  HQL高級語法
  編寫UDF函數
  編寫UDAF自定義函數
  使用Sqoop進行數據分析
  使用oozie配置工作流
  phpHiveAdmin 安裝和使用