Spark源码系列之foreach和foreachPartition的区别【黑马大数据培训】

更新时间:2022年12月21日 18时25分23秒来源:黑马程序员论坛

一，基本使用

1，RDD分布式数据集的五大特性

1)，A list of partitions(一系列的分区)

2)，A function for computing each split(计算每个分片的方法)

3)，A list of dependencies on other RDDs(一系列的依赖RDD)

4)，Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

(可选，对于key-value类型的RDD都会有一个分区器)

5)，Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)(可选，最佳位置)

2，RDD的操作类型：

Transformations：转换操作，lazy型，不会触发计算

Action：触发job

Persist：缓存，也不会触发job，在第一次触发job之后才会真正进行缓存。

3，RDD的计算

RDD的计算实际上我们可以分为两个大部分：

1)，Driver端的计算

主要是stage划分，task的封装，task调度执行

2)，Executor端的计算

真正的计算开始，默认情况下每个cpu运行一个task。一个task实际上就是一个分区，我们的方法无论是转换算子里封装的，还是action算子里封装的都是此时在一个task里面计算一个分区的数据。

下面就那这两个例子，开始讲解吧，针对转换类型的操作可以类比查看。

这两个算子里面，上述我说的”我们的方法是”，每个算子圆括号内部的所有内容。

二，源码相关

1，第一次封装

可以看到方法通过clean操作(清理闭包，为序列化和网络传输做准备)，进行了一层匿名函数的封装，

针对foreach方法，是我们的方法被传入了迭代器的foreach(每个元素遍历执行一次函数)，

而对于foreachpartiton方法是迭代器被传入了我们的方法(每个分区执行一次函数，我们获取迭代器后需要自行进行迭代处理，也即上述第二个demo的partition.foreach)。

2，第二次封装

这次很统一就在

就是讲上述进一步封装的方法进一步按照匿名函数封装

(ctx: TaskContext, it: Iterator[T]) => cleanedFunc(it)

3，执行的时候

Spark的Task类型我们用到的也就两个

1)，ShuffleMapTask

2)，ResultTask

Action算子的方法执行是在ResultTask中执行的，也即ResultTask的runTask方法。

首先反序列化得到我们的方法(2步骤封装的)和RDD，然后执行。传入的是迭代器

三，总结

RDD.foreach(foreachFunction)

RDD.foreachPatition(foreachPartitionFunction)

经过第二步的分析我们可以理解，展开之后实际上就是

RDD的每个分区的iterator(集合):

iterator.foreach(foreachFunction)

foreachPartitionFunction(iterator)

这就很明显了，假如我们的Function中有数据库，网络TCP等IO链接，文件流等等的创建关闭操作，采用foreachPatition方法，针对每个分区集合进行计算，更能提高我们的性能。

推荐了解热门学科

java培训	Python人工智能	Web前端培训	PHP培训
区块链培训	影视制作培训	C++培训	产品经理培训
UI设计培训	新媒体培训	软件测试培训	Linux运维
大数据培训	智能机器人软件开发

传智播客是一家致力于培养高素质软件开发人才的科技公司，“黑马程序员”是传智播客旗下高端IT教育品牌。自“黑马程序员”成立以来，教学研发团队一直致力于打造精品课程资源，不断在产、学、研3个层面创新自己的执教理念与教学方针，并集中“黑马程序员”的优势力量，针对性地出版了计算机系列教材50多册，制作教学视频数+套，发表各类技术文章数百篇。

传智播客从未停止思考

传智播客副总裁毕向东在2019IT培训行业变革大会提到，“传智播客意识到企业的用人需求已经从初级程序员升级到中高级程序员，具备多领域、多行业项目经验的人才成为企业用人的首选。”

中级程序员和初级程序员的差别在哪里?
项目经验。毕向东表示，“中级程序员和初级程序员最大的差别在于中级程序员比初级程序员多了三四年的工作经验，从而多出了更多的项目经验。“为此，传智播客研究院引进曾在知名IT企业如阿里、IBM就职的高级技术专家，集中研发面向中高级程序员的课程，用以满足企业用人需求，尽快补全IT行业所需的人才缺口。

何为中高级程序员课程?

传智播客进行了定义。中高级程序员课程，是在当前主流的初级程序员课程的基础上，增加多领域多行业的含金量项目，从技术的广度和深度上进行拓展。“我们希望用5年的时间，打造上百个高含金量的项目，覆盖主流的32个行业。”传智播客课程研发总监于洋表示。

黑马程序员热门视频教程

Python入门教程完整版（懂中文就能学会）	零起点打开Java世界的大门
C++\| 匠心之作从0到1入门学编程	PHP\|零基础入门开发者编程核心技术
Web前端入门教程_Web前端html+css+JavaScript	软件测试入门到精通

全国中心

Spark源码系列之foreach和foreachPartition的区别【黑马大数据培训】

最新资讯

相关阅读