2020-2021学年4.2 大数据处理完美版课件ppt

课题名

《4.2.1大数据处理的基本思想与框架》

教学目标

1. 通过分析大数据处理案例，了解的大数据处理的“分治”思想。
2. 通过对大数据实例的分析，了解静态数据、流数据和图数据及其处理架构。

教学重点

分支思想、静态数据、流数据和图数据及其处理架构

教学难点

分支思想、静态数据、流数据和图数据及其处理架构

教学准备

教师准备：直观图片、详实文字资料、视频资料和多媒体课件

学生准备：教材、笔记本

教学过程

一、新课导入

   大数据具有数据量大、数据来源与类型多样、处理速度快等特点，那么面对这样的大数据时，我们应该怎么处理更加高效呢？

自学教材，理解“分治”思想，分析生活中的分治思想应用。

二、自主学习

指导学生沿问题线索自主阅读教材中“处理大数据的分治思想”案例，适时讨论。

问题1：该案例中，如何使用10台计算机统计10G微博数据中出现频率最高的词汇？

问题2：该案例中，按问题1方法，使用100台计算机处理100G数据时，遇到了什么问题，如何解决的？

问题3：该案例中，按问题2方法，使用1000台、1万台、10万台计算机处理更大量数据时，为什么行不通了？如何解决的？

问题设计思路：数据量和实时性的增长→单台计算机不能满足处理要求→需要采用多台计算机进行处理→从多台计算机结构的管理引出大数据处理的分治思想。

三、知识讲解

教师使用PPT，从“大数据处理类型”图示展开，列举、分析大数据应用实例中静态数据、流数据、图数据的不同特征；讲解静态数据的批处理计算架构Hadoop，从组成与功能的层面，讲解分布式文件系统HDFS、分布式数据库HBase和分布式并行计算模型MapReduce。

静态数据的批处理计算架构是难点，教师可以结合“Hadoop的组成”“MapReduce的工作流程”图示进行分析讲解，帮助学生化解学习中的难点。

流计算、图计算及实时处理与批处理的整合内容教材中只是简单介绍，在批处理计算的基础上，学生可以通过自主阅读，顺利完成学习。

同时，流计算、图计算也是大数据处理的重要内容，鼓励学生进行拓展性学习。

四、课堂练习

1.下列关于流数据的描述不正确的是（     ）
A.数据在处理时已经采集完成
B.数据价值随着时间的流逝降低
C.实时分析流数据可以得到更有价值的结果
D.可以采用流计算进行实时分析

2.下列关于Hadoop架构的描述正确的是（  ）

A.是一个对大数据进行聚合式处理的基础软件框架

B.不能运行于大规模计算机集群上

C.采用NTFS文件系统管理数据文件

D.采用MapReduce编程模型处理大规模数据集

3.下列软件主要用于进行流计算的有（   ）
A.Hadoop      B.Storm       C.Pregel       D.Spark

4.实时处理与批处理整合的优势有（   ）

①可以在同一个平台做批处理计算和流计算

②缩短了批处理计算和流计算之间的切换延时

③有利于降低使用成本

④增加了系统开销

A.①②③         B.①②④          C.②③④         D.①③④

作业本对应内容

板书设计

教学反思

本条目1课时，内容为大数据处理的分治思想和三种类型数据（静态数据、流数据、图数据）的处理架构。“大数据处理的分治思想”部分的内容，教材通过“统计过去一年微博数据中出现频率最高的100个词”案例的分析深入浅出的进行了描述，较易理解。学生通过自主阅读、讨论后，可以逐个解决问题，逐步加深对大数据处理中“分治”思想的理解。

“大数据处理类型”内容理论性强，较难理解。因此，我采用了讲授法、讨论法列举大数据应用实例中静态数据、流数据、图数据的不同特征；讲授三种类型大数据处理的方法和架框：静态数据的批处理、流数据的实时计算、图数据的图计算及流计算与批处理的整合。其中，重点讲授“分治”思想和静态数据的批处理计算架构Hadoop，从组成与功能的角度，讲解分析分布式文件系统HDFS、分布式数据库HBase、分布式并行计算模型MapReduce。教材中流计算、图计算及实时处理与批处理的整合容只是简单介绍，简单易懂。同时，流计算、图计算也是大数据处理的重要内容。