本文目录一览：
- 1、科普Spark，Spark是什么，如何使用Spark
- 2、如何向eclipse导入spark包java
- 3、spark安装与运行模式
- 4、HUE通过oozie调度spark2 程序on yarn的两种方法
- 5、Spark从入门到精通3：Spark全分布模式的安装和配置
- 6、如何设置 spark 的环境变量
科普Spark，Spark是什么，如何使用Spark
科普Spark自定义添加spark2服务，Spark是什么，如何使用Spark
1.Spark基于什么算法的分布式计算（很简单）
2.Spark与MapReduce不同在什么地方
3.Spark为什么比Hadoop灵活
4.Spark局限是什么
5.什么情况下适合使用Spark
什么是Spark
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。其架构如下图所示：
Spark与Hadoop的对比
Spark的中间数据放到内存中，对于迭代运算效率更高。
Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。
Spark比Hadoop更通用
Spark提供的数据集操作类型有很多种，不像Hadoop只提供自定义添加spark2服务了Map和Reduce两种操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count, collect, reduce, lookup, save等多种actions操作。
这些多种多样的数据集操作类型，给给开发上层应用的用户提供自定义添加spark2服务了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型比Hadoop更灵活。
不过由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。
容错性
在分布式数据集计算时通过checkpoint来实现容错，而checkpoint有两种方式，一个是checkpoint data，一个是logging the updates。用户可以控制采用哪种方式来实现容错。
可用性
Spark通过提供丰富的Scala, Java，Python API及交互式Shell来提高可用性。
Spark与Hadoop的结合
Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。
Spark的适用场景
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小（大数据库架构中这是是否考虑使用Spark的重要因素）
由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。总的来说Spark的适用面比较广泛且比较通用。
运行模式
本地模式
Standalone模式
Mesoes模式
yarn模式
Spark生态系统
Shark ( Hive on Spark): Shark基本上就是在Spark的框架基础上提供和Hive一样的H iveQL命令接口，为了最大程度的保持和Hive的兼容性，Shark使用了Hive的API来实现query Parsing和 Logic Plan generation，最后的PhysicalPlan execution阶段用Spark代替Hadoop MapReduce。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。同时，Shark通过UDF用户自定义函数实现特定的数据分析学习算法，使得SQL数据查询和运算分析能结合在一起，最大化RDD的重复使用。
Spark streaming: 构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms+）可以用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），RDD数据集更容易做高效的容错处理。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。
Bagel: Pregel on Spark，可以用Spark进行图计算，这是个非常有用的小项目。Bagel自带了一个例子，实现了Google的PageRank算法。
End.
如何向eclipse导入spark包java
设置环境变量：HADOOP_HOME，在windows下调试Eclipse时，并不需要在windows下安装hadoop，只需要配置一下环境变量就好了，然后HADOOP_HOME执行的位置的bin下要有winUtils.exe，设置环境变量的方式不用讲了吧！
在Eclipse项目中添加spark-assembly-1.4.1-hadoop2.4.0.jar，这里添加你需要的版本。
注意，不要使用spark的分散的jar包，这一点主要是maven时需要注意，因为maven时它会下载好多jar，这里会引进第二个问题，序列化问题，应该是scala的问题。
设置环境变量SPARK_CLASSPATH，这个环境变量不是必须的，你看一下你的服务器是不是设置了。
其实这一步和下面的一步本质作用是一样的，都是告诉spark依赖的jar，而告诉spark依赖jar的方法有两种，一种是设置环境变量，另一种是addJar方式。作者是这样认为，如果公用的jar，那么就通过设置环境变量的方式，如果是算法私有的jar，就通过addJar方式。
注意，环境变量SPAKR_CLASSPATH的值是unix方式，就是跟服务器设置的一样，不要用win的方式“;”，为啥呢？作者认为，通过设置环境变量的方式时，在初始化spark上下文时，并没有分发jar到各个worker，所以需要指定jar在服务器的位置。（有问题的话，请留言，嘴拙）
4
addJar方式，上面讲过了。
与环境变量的方式区别在于，驱动程序启动，初始化上下文时，需要分发jar到各个worker，所以针对私有的jar，最好使用addJar方式。
5
到了这里，应该全部配置完成了，如果我讲述的比较清晰的话，你应该可以随意调试了。
spark安装与运行模式
Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s等常用模式，本文介绍前三种模式。
Spark-shell 参数
Spark-shell 是以一种交互式命令行方式将Spark应用程序跑在指定模式上，也可以通过Spark-submit提交指定运用程序，Spark-shell 底层调用的是Spark-submit,二者的使用参数一致的，通过- -help 查看参数：
sparkconf的传入有三种方式：
1.通过在spark应用程序开发的时候用set()方法进行指定
2.通过在spark应用程序提交的时候用过以上参数指定，一般使用此种方式，因为使用较为灵活
3.通过配置spark-default.conf，spark-env.sh文件进行指定，此种方式较shell方式级别低
Local模式
Local 模式是最简单的一种Spark运行方式，它采用单节点多线程（cpu)方式运行，local模式是一种OOTB（开箱即用）的方式，只需要在spark-env.sh导出JAVA_HOME,无需其他任何配置即可使用，因而常用于开发和学习
方式：./spark-shell - -master local[n] ，n代表线程数
Standalone模式
Spark on Yarn
on Yarn的俩种模式
客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和excutor,另外ApplicationMaster和executor都装在在container里运行，container默认的内存是1g，ApplicationMaster分配的内存是driver-memory,executor分配的内存是executor-memory.同时，因为Driver在客户端，所以程序的运行结果可以在客户端显示，Driver以进程名为SparkSubmit的形式存在。
Cluster 模式
1.由client向ResourceManager提交请求，并上传Jar到HDFS上
这期间包括四个步骤:
a).连接到RM
b).从RM ASM(applicationsManager)中获得metric，queue和resource等信息。
c).upload app jar and spark-assembly jar
d).设置运行环境和container上下文
2.ResourceManager向NodeManager申请资源，创建Spark ApplicationMaster（每个SparkContext都有一个ApplicationManager）
3.NodeManager启动Spark App Master，并向ResourceManager ASM注册
4.Spark ApplicationMaster从HDFS中找到jar文件，启动DAGScheduler和YARN Cluster Scheduler
5.ResourceManager向ResourceManager ASM注册申请container资源(INFO YarnClientImpl: Submitted application)
6.ResourceManager通知NodeManager分配Container，这是可以收到来自ASM关于container的报告。(每个container的对应一个executor)
7.Spark ApplicationMaster直接和container(executor)进行交互，完成这个分布式任务。
进入spark安装目录下的conf文件夹
[atguigu@hadoop102 module] mv slaves.template slaves
[atguigu@hadoop102 conf] vim slaves
hadoop102
hadoop103
hadoop104
4）修改spark-env.sh文件，添加如下配置：
[atguigu@hadoop102 conf]$ vim spark-env.sh
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077
5）分发spark包
[atguigu@hadoop102 module] sbin/start-all.sh
注意：如果遇到 “JAVA_HOME not set” 异常，可以在sbin目录下的spark-config.sh 文件中加入如下配置：
export JAVA_HOME=XXXX
官方求PI案例
spark-submit
--class org.apache.spark.examples.SparkPi
--master spark://server-2:7077
--executor-memory 1G
--total-executor-cores 2
/home/xxx/software/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar
100
spark-shell
--master spark://server-2:7077
--executor-memory 1g
--total-executor-cores 2
spark-shell --master spark://server-2:7077 --executor-memory 1g --total-executor-cores 2
参数：--master spark://server-2:7077 指定要连接的集群的master
Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出
yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。
安装使用
1）修改hadoop配置文件yarn-site.xml,添加如下内容：
2）修改spark-env.sh，添加如下配置：
[atguigu@hadoop102 conf]$ vi spark-env.sh
YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop
3）分发配置文件
[atguigu@hadoop102 conf] xsync spark-env.sh
4）执行一个程序
spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode client
/home/xxx/software/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar
100
注意：在提交任务之前需启动HDFS以及YARN集群。
日志查看
修改配置文件spark-defaults.conf
添加如下内容：
spark.yarn.historyServer.address=server-2:18080
spark.history.ui.port=18080
2）重启spark历史服务
[atguigu@hadoop102 spark] sbin/start-history-server.sh
starting org.apache.spark.deploy.history.HistoryServer, logging to /opt/module/spark/logs/spark-atguigu-org.apache.spark.deploy.history.HistoryServer-1-hadoop102.out
3）提交任务到Yarn执行
spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode client
/home/xxx/software/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar
100
HUE通过oozie调度spark2 程序on yarn的两种方法
chd 5.12.3
hadoop 2.6.0
oozie 4.1.0
spark 2.3.0
spark1（集群自带的可以直接添加jar）做任务调度
spark2 需要进行配置后（添加spark2 所需要的jar到oozie 的sharelib中）才能进行调度
详细步骤可以参考：
特别注意事项1：
a、spark程序jar包路径，因为jar是传到HDFS上面的，cluster方式提交的时候，jar name栏目需要写jar包再hdfs上面的全路径，
见上图方框中内容。
b、需改集群oozie配置项 Spark on Yarn 服务 改为 none ，默认是 yarn。不然运行时候会报错。
e.g hdfs://nameserviceHa/user/hue/oozie/workspaces/hue-oozie-1505120868.97/spark-examples_2.11-2.3.0.cloudera2.jar
特别注意事项2：运行spark程序时候，oozie自动默认spark。需要通过配置参数 oozie.action.sharelib.for.spark 设置为spark2，指定运spark时候添加的jar包为spark2.。
小伙伴会疑问为社么直接通过通过shell小组件调用shell脚本？
shell组件的中的shell脚本不支持交互是查询。ssh远程命令不支持，如果spark环境不在oozie组件的主机上，此方法行不通。
*********************************下面重点介绍怎么通过ssh远程执行shell命令***********************************
使用oozie提供的小组件
现在有几个问题需要解决：
1、oozie调度时候使用的是oozie账户，当你执行ssh时候发现回报登陆错误。解决办法配置免密
2、怎么配置免密
su oozie 的时候报以下提示，因为chd生成的用户名问题，本人再这里花费了很多时间处理此问题。
This account is currently not available.
解决办法：使用sudo -u oozie 命令执行免密登陆设置
sudo -u oozie ssh-keygen
生成秘钥
cat /var/lib/oozie/.ssh/id_rsa.pub /root/.ssh/authorized_keys （写入的是你需要免密的服务器，这里展示的是本机写法）
验证免密登录
到这里，你就可以随心所欲的书写脚本，并存到再服务器。通过oozie ssh远程执行此脚本，以此达到调度的效果。
Spark从入门到精通3：Spark全分布模式的安装和配置
Spark的安装模式一般分为三种：1.伪分布模式：即在一个节点上模拟一个分布式环境，master和worker共用一个节点，这种模式一般用于开发和测试Spark程序；2.全分布模式：即真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（1个master和2个worker），这种模式一般用于实际的生产环境；3.HA集群模式：即高可用集群模式，一般至少需要4台机器（1个主master，1个备master，2个worker），这种模式的优点是在主master宕机之后，备master会立即启动担任master的职责，可以保证集群高效稳定的运行，这种模式就是实际生产环境中多采用的模式。本小节来介绍Spark的全分布模式的安装和配置。
安装介质：
jdk-8u162-linux-x64.tar.gz 提取码：2bh8
hadoop-2.7.3.tar.gz 提取码：d4g2
scala-2.12.6.tgz 提取码：s2ly
spark-2.1.0-bin-hadoop2.7.tgz 提取码：5kcf
准备3台Linux主机，按照下面的步骤在每台主机上执行一遍，设置成如下结果：
安装Linux操作系统比较简单，这里不再详细。参考：《 Linux从入门到精通1：使用 VMware Workstation 14 Pro 安装 CentOS 7 详细图文教程 》
编辑hosts配置文件：# vi /etc/hosts，追加3行：
测试主机名是否可用：
（1）使用ssh-keygen工具生成秘钥对：
（2）将生成的公钥发给三台主机：master、slave1、slave2：
（3）测试秘钥认证是否成功：
由于各个主机上的时间可能不一致，会导致执行Spark程序出现异常，因此需要同步各个主机的时间。在实际生成环境中，一般使用时间服务器来同步时间，但是搭建时间服务器相对较为复杂。这里介绍一种简单的方法来快速同步每台主机主机的时间。我们知道，使用date命令可以设置主机的时间，因此这里使用putty的插件MTPuTTY来同时向每一台主机发送date命令，以到达同步时间的目的。
（1）使用MTPuTTY工具连接三台主机，点击MTPuTTY工具的Tools菜单下的“Send script…”子菜单，打开发送脚本工具窗口。
（2）输入命令：date -s 2018-05-28，然后回车（注意：一定要回车，否则只发送不执行），在下面服务器列表中选择要同步的主机，然后点击“Send script”，即可将时间同步为2018-05-28 00:00:00。
使用winscp工具将JDK安装包 jdk-8u144-linux-x64.tar.gz 上传到/root/tools/目录中，该目录是事先创建的。
进入/root/tools/目录，将jdk安装包解压到/root/training/目录中，该目录也是事先创建的。
使用winscp工具将Hadoop安装包 hadoop-2.7.3.tar.gz 上传到master节点的/root/tools/目录中，该目录是事先创建的。
进入/root/tools/目录，将hadoop安装包解压到/root/training/目录中，该目录也是事先创建的。
进入Hadoop配置文件目录：
(1) 配置hadoop-env.sh文件：
(2) 配置hdfs-site.xml文件：
(3) 配置core-site.xml文件：
(4) 配置mapred-site.xml文件：
将模板文件mapred-site.xml.template拷贝一份重命名为mapred-site.xml然后编辑：
(5) 配置yarn-site.xml文件：
(6) 配置slaves文件：
将master上配置好的Hadoop安装目录分别复制给两个从节点slave1和slave2，并验证是否成功。
第一次启动需要输入yes继续。
启动成功后，使用jps命令查看各个节点上开启的进程：
使用命令行查看HDFS的状态：
使用浏览器查看HDFS的状态：
使用浏览器查看YARN的状态：
(1) 在HDFS上创建输入目录/input：
(2) 将本地数据文件data.txt上传至该目录：
(3) 进入到Hadoop的示例程序目录：
(4) 执行示例程序中的Wordcount程序，以HDFS上的/input/data.txt作为输入数据，输出结果存放到HDFS上的/out/wc目录下：
(5) 查看进度和结果：
可以通过终端打印出来的日志信息知道执行进度：
执行结束后可以在HDFS上的/out/wc目录下查看是否有_SUCCESS标志文件来判断是否执行成功。
如果执行成功，可以在输出目录下看到_SUCCESS标志文件，且可以在part-r-00000文件中查看到wordcount程序的结果：
由于Scala只是一个应用软件，只需要安装在master节点即可。
使用winscp工具将Scala安装包上传到master节点的/root/tools目录下：
进入/root/tools目录，将Scala安装包解压到安装目录/root/training/：
将Scala的家目录加入到环境变量PATH中：
使环境变量生效：
输入scala命令，如下进入scala环境，则证明scala安装成功：
我们先在master节点上配置好参数，再分发给两个从节点slave1和slave2。
使用winscp工具将Spark安装包上传到master节点的/root/tools目录下：
进入/root/tools目录，将Spark安装包解压到安装目录/root/training/下：
注意：由于Spark的命令脚本和Hadoop的命令脚本有冲突（比如都有start-all.sh和stop-all.sh等），
所以这里需要注释掉Hadoop的环境变量，添加Spark的环境变量：
按Esc:wq保存退出，使用source命令使配置文件立即生效：
进入Spark的配置文件目录下：
(1) 配置spark-env.sh文件：
(2) 配置slaves文件：
将master上配置好的Spark安装目录分别复制给两个从节点slave1和slave2，并验证是否成功。
启动后查看每个节点上的进程：
使用浏览器监控Spark的状态：
使用spark-shell命令进入SparkContext（即Scala环境）：
启动了spark-shell之后，可以使用4040端口访问其Web控制台页面(注意：如果一台机器上启动了多个spark-shell，即运行了多个SparkContext，那么端口会自动连续递增，如4041,4042,4043等等)：
注意：由于我们将Hadoop从环境变量中注释掉了，这时只能手动进入到Hadoop的sbin目录停止Hadoop：
Spark中常用的端口总结：
如何设置 spark 的环境变量
在Windows上安装与配置Spark
本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。
（1）安装JDK
相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。
安装过程十分简单，运行二进制可执行文件即可，程序会自动配置环境变量。
（2）安装Cygwin
Cygwin是在Windows平台下模拟Linux环境的一个非常有用的工具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。
1）运行安装程序，选择install from internet。
2）选择网络最好的下载源进行下载。
3）进入Select Packages界面（见图2-2），然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。
另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。
最后需要配置环境变量，依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin目录和Cygwin的usr\bin两个目录。
（3）安装sshd并配置免密码登录
1）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。
2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。最后出现Host configuration finished.Have fun!表示安装成功。
3）输入net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。
注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员身份运行（右击图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。
（4）配置SSH免密码登录
1）执行ssh-keygen命令生成密钥文件，如图2-4所示。
2）执行此命令后，在你的Cygwin\home\用户名路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，通过ssh -version命令查看版本。
3）执行完ssh-keygen命令后，再执行下面命令，生成authorized_keys文件。
cd ~/.ssh/
cp id_dsa.pub authorized_keys
这样就配置好了sshd服务。
（5）配置Hadoop
修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。
（6）配置Spark
修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。
（7）运行Spark
1）Spark的启动与关闭
①在Spark根目录启动Spark。
./sbin/start-all.sh
②关闭Spark。
./sbin/stop-all.sh
2）Hadoop的启动与关闭
①在Hadoop根目录启动Hadoop。
./sbin/start-all.sh
②关闭Hadoop。
./sbin/stop-all.sh
3）检测是否安装成功
正常状态下会出现如下内容。
-bash-4.1# jps
23526 Jps
2127 Master
7396 NameNode
7594 SecondaryNameNode
7681 ResourceManager
1053 DataNode
31935 NodeManager
1405 Worker
如缺少进程请到logs文件夹下查看相应日志，针对具体问题进行解决。
