spark过节监控告警系统实现

  • 时间:
  • 浏览:0

嘴笨 ,春节最为重要的只是app存活了,春节期间各大应用应该全是有一次要数据增量,这么实际上就我不要 我们都都都 的系统系统进程能有一定

作者:浪尖

原文链接本文转载自公众号:Spark学习技巧

马上要过年了,大次要公司你这个已经全是会再去谋求开新业务,而大数据工匠们,我应该 过好年,就要保证过年期间此人 对此人 的应用了如执掌。一般公司全是有轮值人员,至少要有春节应急预案,尤其是对于我们都都都 哪些搞平台,肯能线上应用的,应急预案更是必不可少。今天浪尖主只是分享一下关于在yarn上的spark 任务我们都都都 应该做哪些监控,如可监控。

Spark on yarn你这个应用型态目前在企业中是最为常见的,对于你这个spark的任务,浪尖嘴笨 我们都都都 关心的指标大致有:app存活,spark streaming的job堆积情况报告,job运行情况报告及进度,stage运行进度,rdd缓存监控,内存监控等。