服务器查看spark进程（spark服务的常驻进程）

admin 2023年02月21日 13:37:32 1

默认

本文目录一览：

1、怎么查看spark sql的僵死进程
2、linux怎样查看spark运行状态
3、Spark On Yarn如何查看任务日志
4、如何在yarn中查看spark任务
5、怎么查看spark正在运行的任务

怎么查看spark sql的僵死进程

原因是实际使用时，如果用的是JDK1.6版本，Server模式的持久代默认大小是64M，Client模式的持久代默认大小是32M，而Driver端进行SQL处理时，其持久代的使用可能会达到90M，导致OOM溢出，任务失败。

linux怎样查看spark运行状态

Spark服务器查看spark进程的Web监控页面在SparkContext中可以看到如下代码服务器查看spark进程：首先是创建一个Spark Application服务器查看spark进程的Web监控实例对象：然后bind方法会绑定一个web服务器：可以看出我们使用Jetty服务器来监控程序服务器查看spark进程的运行和显示Spark集群的信息的。

服务器查看spark进程（spark服务的常驻进程）

Spark On Yarn如何查看任务日志

无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。任务运行在yarn上，查询日志就可能不是很方便，尤其是任务进程异常退出之后。

yarn容器退出之后，默认是不保存日志的。所以需要开启JobHistoryServer，具体方法网上有很多教程。

运行中的Spark任务可以直接通过spark web ui查看：

对于已经结束的yarn应用，spark进程已经退出也无法提供webui服务。

根据 Flink On Yarn如何查看任务日志，我们已经知道了日志的url组成方式，这次同理，只要找到容器名和 node 就能访问日志了。

driver的url为：

搜索driver的日志，找到容器名 container_1634207619484_0496_01_000002 和host node3

运行中的flink/spark的日志查看非常容易，因为它们本身都提供了web ui服务。但是当任务异常退出之后，flink/spark进程的结束导致无法提供web ui服务。我们利用job history server来保留和展示当时的日志。但是yarn的web只展示了flink job manager/spark driver的日志链接，我们需要自己拼接flink task manager/spark executor日志链接。

最后我有一个小疑问：文中介绍的URL组成是推测出来的，其中第三部分 /container_1634207619484_0505_01_000001/container_1634207619484_0505_01_000001 是两个同样的容器名，这是为什么？希望知道的小伙伴能留言解惑一下。

如何在yarn中查看spark任务

[{icon:'extjs/examples/shared/icons/fam/cog_edit.png',//UseaURLintheiconconfigtooltip:'Edit',handler:function(grid,rowIndex,colIndex){varrec=grid.getStore().getAt(rowIndex);alert("Edit"+rec.get('firstname'));}},{icon:'extjs/examples/restful/images/delete.png',tooltip:'Delete',handler:function(grid,rowIndex,colIndex){varrec=grid.getStore().getAt(rowIndex);alert("Terminate"+rec.get('firstname'));}}]}],