初中信息技术浙教版（2020）七年级上册第13课 大数据处理课文内容ppt课件

这是一份初中信息技术浙教版（2020）七年级上册第13课 大数据处理课文内容ppt课件，文件包含第13课大数据处理课件-浙教版2020信息技术七年级上册ppt、大数据分析之Hadoop云计算mp4等2份课件配套教学资源，其中PPT共8页， 欢迎下载使用。

在数量较小的情况下，单台计算机的数据处理速度可以很快，但是处理速度会随着数据量的增加而变得越来越缓慢。因此在大数据时代，需要优化的思路方式来应对大数据的处理。
01 大数据处理的基本思想
“分治法”又称分治策略，顾名思义，就是分而治之的意思。它的基本思想是将难以解决的、规模较大的问题，分解成若干个能直接解决的、相互独立的子问题，这些子问题与原问题性质相同。求出子问题的解，就可以得到原问题的解，即一种分目标完成的程序算法。
分治所能解决的问题一般具有以下几个特征：该问题的规模缩小到一定的程度就可以容易地解决；该问题可以分解为若干个规模较小的相同问题，即该问题具有最优子结构性质利用该问题分解出的子问题的解可以合并为该问题的解；该问题所分解出的各个子问题是相互独立的，即子问题之间不包含公共的子问题。
总体思想：将要求解的较大规模的问题分割成k个更小规模的子问题。对这k个子问题分别求解。如果子问题的规模仍然不够小，则再划分为k个子问题，如此递归的进行下去，直到问题规模足够小，很容易求出其解为止。将求出的小规模的问题的解合并为一个更大规模的问题的解，自底向上逐步求出原来问题的解。
02 大数据处理的类型
大数据处理按照类型一般可以分为三种：1、静态数据的批处理2、对数据的实时计算3、对图数据的图计算不同的处理类型都有相应的分布式处理框架或平台。
Hadp是对静态数据批处理计算时比较常用的一种框架：1、可以实现卡计算机节点的数据并行处理。2、通过不断增加节点方式处理不断增加的数据，从而保持高效、稳定的处理水平，获得及时、准确的处理结果。3、核心组件：一是Hadp分布式文件系统HDFS，它是一种可靠的、搞宽带、低成本的数据存储集群，主要是将大规模数据以文件形式用于多个副本保存在不同的存储节点中，并用分布式系统进行管理。二是MapReduce,这是一种分布式进行编辑模型，能够处理大数据集的并行运算，它的计算由Map（映射）和 Reduce（归纳）两个函数来实现处理。
数据分析：大数据处理最重要的环节就是数据分析，数据分析通常分为两种：批处理和流处理。批处理：对一段时间内海量的离线数据进行统一的处理，对应的处理框架有 Hadp MapReduce、Spark、Flink 等；流处理：对运动中的数据进行处理，即在接收数据的同时就对其进行处理，对应的处理框架有 Strm、Spark Streaming、Flink Streaming 等。