spark和微服务（spark 微服务）

KTV免费预定 2024年09月15日 17:25:13 1

默认

本文目录一览：

1、hadoop、kafka、spark、storm、zookeeper、akka这些都是干啥的，学习顺序怎么样的？
2、编程开发都有哪些常用的开源框架？
3、前后端分离微服务架构如何设计
4、微服务容器平台面对大数据存储是怎么做的
5、如何使用OpenStack，Docker和Spark打造一个云服务
6、Spark on Kubernetes：Apache YuniKorn如何提供帮助

hadoop、kafka、spark、storm、zookeeper、akka这些都是干啥的，学习顺序怎么样的？

hadoop、storm、spark、akka是分布式处理框架；

kafka是一种消息队列；

zookeeper是dubbo的服务注册中心；

由上可见，这些东西相关性没那么大，学习是要看应用场景的，如果你在大数据公司里做分布式处理，那hadoop、spark二者之一估计是必学的；如果你要做微服务相关，那zookeeper可能是要了解的（因为也可以选择eureka）；消息队列作为常用的消息中间件，在高阶应用，也是必然需要掌握的。

学习不分先后，用到了就早学，没用到的可能一辈子也不会学到。

spark和微服务（spark 微服务）

编程开发都有哪些常用的开源框架？

对于程序员来说，大部分都是学习的编程开发语言，而编程也一直是互联网软件开发领域的主流编程语言之一。今天，我们就一起来了解一下，的生态圈都包含了哪些框架。

的生态环境开放、自由，在Sun/Oracle、Google、Apache、Eclipse基金会等各大厂商，还有技术大牛的共同努力下，的生态圈异常繁荣，各种优秀的开源框架层出不穷。

SpringBoot

SpringBoot是Pivotal团队推出的一个支持快速开发的框架，伴随Spring4.0而生，继承了Spring的优秀特质，简化了使用Spring编码、配置、部署的过程，使项目的开发变得简单、敏捷。

SpringCloud

SpringCloud是基于SpringBoot的一整套分布式系统下的微服务构建框架，包含了众多的子项目，如SpringCloudConfig、SpringCloudStream等。

Hadoop/Spark

Hadoop是个获得极大应用的大数据框架，是大数据领域标志性的解决方案。

Spark通过完善的内存计算和处理优化，极大的提升了速度，是具备流处理能力的下一代批处理框架。

Spark体系还包括一系列附加库，如SparkStreaming、SparkMLlib、SparkGraphX、SparkNet、CaffeOnSpark等。

Kafka

Kafka是LinkedIn使用Scala开发的一个分布式消息中间件，可以实现不同应用之间的松耦合，由于其可扩展、高吞吐、低延迟、高可靠等特性而被广泛使用。

ElasticSearch

ElasticSearch是基于Lucene的实时分布式搜索引擎，昆明北大青鸟认为由于其搜索稳定、可靠，速度快、安装方便等特点，是使用广泛的开源搜索引擎之一。

Nutch

Nutch是Apache旗下的高度可扩展、可伸缩、可插拔的开源网络爬虫框架，功能完整。

当然爬出框架还有很多：Heritrix、Crawler4j、WebCollector、WebMagic、SeimiCrawler、HtmlUnit等，可根据实际项目需要选择。

在爬虫领域，Python可能使用的更多一些，入门也简单。

爬虫的难点不在于语言的选择，无论、Python都可以胜任，关键还是反反爬策略的制定，以及各种实战的积累。

前后端分离微服务架构如何设计

前端

前端开发人员专注业务的页面呈现，非常注重用户体验度，也是与各种角色打交道最多的。

比如：

一般前端工作包括六个部分：

后端

如果前后端职责划分很清楚的话，后端更多开发工作在于业务接口设计、业务逻辑处理以及数据的持久化存储，并提供详细的接口设计文档给前端开发人员使用。

一般后端工作包括五个部分：

1、与产品经理对接需求

2、业务 API 接口开发：根据根据需求文档进行业务接口开发

4、接口对接：与前端开发人员接口对接

5、前后端联调测试：包括页面展示以及接口数据

6、bug修复

前端开发技术栈

h5 、 css 、 nodejs / vue / angular / react 、 webpack 、 hbuilder / vscode 等

后端开发技术栈

SpringCloud / Springboot 、 SpringMVC 、 ORM 框架、数据库、缓存框架（ Redis ， Codis , Memcached 等），大数据框架（ Hadoop / Spark / hive / Hbase / Storm / ES / Kafka ）等等

技术选型

最好选择成熟稳定，易上手、开发效率高的技术，因为实际项目开发时间是有限的，开发人员没有多少精力放在学习和深度研究技术上。

数据格式

后端开发提供接口设计文档，详细写明每个接口的请求地址、请求参数、响应参数等等；一般采用 REST 风格以 JSON 格式提供数据。

接口设计

一个接口设计的好坏，直接影响到前后端的一些沟通协调问题。

依笔者的经验来看，如果后端接口不稳定，会导致前端开发人员反复修改页面数据呈现。常常出现后端开发说这是前端问题，前端开发说是后端问题，来回扯皮，沟通效率低下。

接口容量问题

一个接口的业务容量大小，往往代表前后端工作量的大小。

如果一个接口的业务容量太小，前端需要分阶段处理的事情就多，尤其是对多个接口 Ajax 异步处理；

如果一个接口的业务容量太大，那么业务耦合性高，万一需求变更，后端程序改动大，不利于程序的扩展。

一、前后端分离的思想要转变

不能老是按照传统WEB（ js/h5/css/ 后端代码放在一个工程）开发思维去看待前后端分离

二、沟通成本问题

以前传统 WEB 开发，开发人员从需求到设计到开发基本上是一个人。

而前后端分离后，前端只负责页面呈现，后端更注重业务逻辑处理以及数据的持久化，双发都有自己的侧重点，工作量上有私心。

三、组织结构问题

康威定律

第一定律： Communication dictates design （组织沟通方式会通过系统设计表达出来）

第二定律： There is never enough time to do something right, but there is always enough time to do it over （时间再多一件事情也不可能做得美，但总有时间做完一件事情）

第三定律： There is a homomorphism from the linear graph of a system to the linear graph of its design organization （线型系统和线型组织架构间有潜在的异质同态特性）

第四定律： The structures of large systems tend to disintegrate during development, qualitatively more so than with small systems （大的系统组织总是比小系统更倾向于分解）

康威定律说明以下几点

四、部署及监控运维

前后端分离后，拆分的服务会带来线上部署以及如何监控运维的复杂性。

总体来说，前后分离所带来的好处还是更明显的。一个成熟的前后端分离的团队，文档化约定，前后端职责分离、接口约定都是做得比较好的

微服务容器平台面对大数据存储是怎么做的

整体而言，大数据平台从平台部署和数据分析过程可分为如下几步：

1、linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。例如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

目前国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

先说下使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）。2）开源组件一般免费，学习和维护相对方便。3）开源组件一般会持续更新，提供必要的更新服务『当然还需要手动做更新操作』。4）因为代码开源，若出bug可自由对源码作修改维护。

再简略讲讲各组件的功能。分布式集群的资源管理器一般用Yarn，『全名是Yet Another Resource Negotiator』。常用的分布式数据数据『仓』库有Hive、Hbase。Hive可以用SQL查询『但效率略低』，Hbase可以快速『近实时』读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务，Yarn和Hbase需要它的支持。Impala是对hive的一个补充，可以实现高效的SQL查询。ElasticSearch是一个分布式的搜索引擎。针对分析，目前最火的是Spark『此处忽略其他，如基础的MapReduce 和 Flink』。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等库，可以满足几乎所有常见数据分析需求。

值得一提的是，上面提到的组件，如何将其有机结合起来，完成某个任务，不是一个简单的工作，可能会非常耗时。

3、数据导入

前面提到，数据导入的工具是Sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台『一般主要导入到Hive，也可将数据导入到Hbase』。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行熟悉展示，和列查找展示。在这里，要基于大数据平台做展示，会需要用到ElasticSearch和Hbase。Hbase提供快速『ms级别』的行查找。 ElasticSearch可以实现列索引，提供快速列查找。

平台搭建主要问题：

1、稳定性 Stability

理论上来说，稳定性是分布式系统最大的优势，因为它可以通过多台机器做数据及程序运行备份以确保系统稳定。但也由于大数据平台部署于多台机器上，配置不合适，也可能成为最大的问题。曾经遇到的一个问题是Hbase经常挂掉，主要原因是采购的硬盘质量较差。硬盘损坏有时会到导致Hbase同步出现问题，因而导致Hbase服务停止。由于硬盘质量较差，隔三差五会出现服务停止现象，耗费大量时间。结论：大数据平台相对于超算确实廉价，但是配置还是必须高于家用电脑的。

2、可扩展性 Scalability

如何快速扩展已有大数据平台，在其基础上扩充新的机器是云计算等领域应用的关键问题。在实际2B的应用中，有时需要增减机器来满足新的需求。如何在保留原有功能的情况下，快速扩充平台是实际应用中的常见问题。

上述是自己项目实践的总结。整个平台搭建过程耗时耗力，非一两个人可以完成。一个小团队要真正做到这些也需要耗费很长时间。

目前国内和国际上已有多家公司提供大数据平台搭建服务，国外有名的公司有Cloudera，Hortonworks，MapR等，国内也有华为、明略数据、星环等。另外有些公司如明略数据等还提供一体化的解决方案，寻求这些公司合作对于入门级的大数据企业或没有大数据分析能力的企业来说是最好的解决途径。

对于一些本身体量较小或者目前数据量积累较少的公司，个人认为没有必要搭建这一套系统，暂时先租用AWS和阿里云就够了。对于数据量大，但数据分析需求较简单的公司，可以直接买Tableau，Splunk，HP Vertica，或者IBM DB2等软件或服务即可。

如何使用OpenStack，Docker和Spark打造一个云服务

IBM中国研究院高级研究员陈冠诚主要从事Big Data on Cloudspark和微服务，大数据系统性能分析与优化方面的技术研发。负责和参与过SuperVessel超能云的大数据服务开发，Hadoop软硬件协同优化，MapReduce性能分析与调优工具，高性能FPGA加速器在大数据平台上应用等项目。在Supercomputing（SC），IEEE BigData等国际顶级会议和期刊上发表过多篇大数据数据处理技术相关的论文，并拥有八项大数据领域的技术专利。曾在《程序员》杂志分享过多篇分布式计算，大数据处理技术等方面的技术文章。以下为媒体针对陈冠诚的专访：

问：首先请介绍下您自己，以及您在Spark 技术方面所做的工作。

陈冠诚：我是IBM中国研究院的高级研究员，大数据云方向的技术负责人。我们围绕Spark主要做两方面的事情：第一，在IBM研究院的SuperVessel公有云上开发和运维Spark as a Service大数据服务。第二，在OpenPOWER架构的服务器上做Spark的性能分析与优化。

问：您所在的企业是如何使用Spark 技术的spark和微服务？带来了哪些好处？

陈冠诚：Spark作为新一代的大数据处理引擎主要带来了两方面好处：

相比于MapReduce在性能上得到了很大提升。

在一个统一的平台上将批处理、SQL、流计算、图计算、机器学习算法等多种范式集中在一起，使混合计算变得更加的容易。

问：您认为Spark 技术最适用于哪些应用场景？

陈冠诚：大规模机器学习、图计算、SQL等类型数据分析业务是非常适合使用Spark的。当然，在企业的技术选型过程中，并不是说因为Spark很火就一定要使用它。例如还有很多公司在用Impala做数据分析，一些公司在用Storm和Samaza做流计算，具体的技术选型应该根据自己的业务场景，人员技能等多方面因素来做综合考量。

问：企业在应用Spark 技术时，需要做哪些改变吗？企业如果想快速应用Spark 应该如何去做？

陈冠诚：企业想要拥抱Spark技术，首先需要技术人员改变。是否有给力的Spark人才会是企业能否成功应用Spark最重要的因素。多参与Spark社区的讨论，参加Spark Meetup，给upstrEAM贡献代码都是很好的切入方式。如果个人开发者想快速上手Spark，可以考虑使用SuperVessel免费的Spark公有云服务，它能快速创建一个Spark集群供大家使用。

问：您所在的企业在应用Spark 技术时遇到了哪些问题？是如何解决的？

陈冠诚：我们在对Spark进行性能调优时遇到很多问题。例如JVM GC的性能瓶颈、序列化反序列化的开销、多进程好还是多线程好等等。在遇到这些问题的时候，最好的方法是做好Profiling，准确找到性能瓶颈，再去调整相关的参数去优化这些性能瓶颈。

另一方面，我们发现如果将Spark部署在云环境里（例如OpenStack管理的Docker Container）时，它的性能特征和在物理机上部署又会有很大的不同，目前我们还在继续这方面的工作，希望以后能有机会跟大家继续分享。

问：作为当前流行的大数据处理技术，您认为Spark 还有哪些方面需要改进？

陈冠诚：在与OpenStack这样的云操作系统的集成上，Spark还是有很多工作可以做的。例如与Docker Container更好的集成，对Swift对象存储的性能优化等等。

问：您在本次演讲中将分享哪些话题？

陈冠诚：我将分享的话题是“基于OpenStack、Docker和Spark打造SuperVessel大数据公有云”：

随着Spark在2014年的蓬勃发展，Spark as a Service大数据服务正成为OpenStack生态系统中的新热点。另一方面，Docker Container因为在提升云的资源利用率和生产效率方面的优势而备受瞩目。在IBM中国研究院为高校和技术爱好者打造的SuperVessel公有云中，我们使用OpenStack、Docker和Spark三项开源技术，在OpenPOWER服务器上打造了一个大数据公有云服务。本次演讲我们会向大家介绍如何一步一步使用Spark、Docker和OpenStack打造一个大数据公有云，并分享我们在开发过程中遇到的问题和经验教训。

问：哪些听众最应该了解这些话题？您所分享的主题可以帮助听众解决哪些问题？

陈冠诚：对如何构造一个大数据云感兴趣的同学应该会对这个话题感兴趣，开发SuperVessel的Spark as a Service服务过程中我们所做的技术选型、架构设计以及解决的问题应该能对大家有所帮助