云计算

hadoop hive hbase metrics jmx

csdn阅读(13)评论(0)

hadoop监控指标的采集:通过jmx,获取数据。 http://blog.csdn.net/u012948976/article/details/52270132 深入了解 How to monitor Hadoop metrics &#...

Spark 容错机制

csdn阅读(16)评论(0)

转载:http://www.jianshu.com/p/99ebcc7c92d3    引入 一般来说,分布式数据集的容错性有两种方式:数据检查点和记录数据的更新。 面向大规模数据分析,数据检查点操作成本很高,需要通过数...

Spark资源调度分配解密

csdn阅读(13)评论(0)

1.分配Driver(Cluster,只有在cluster模式在master才能为dirver分配资源) 2.为Application分配资源 3.两种不同的资源分配方式 4.Spark资源调度方式 一:任务调度与资源调度的区别 1, 任务...

Sprak RDD缓存

csdn阅读(13)评论(0)

转载:https://www.iteblog.com/archives/1532.html 我们知道,Spark相比Hadoop最大的一个优势就是可以将数据cache到内存,以供后面的计算使用。本文将对这部分的代码进行分析。   我们可以通...