北京奇艺世纪科技公司云计算大数据开发面经

前言

公司：北京奇艺世纪科技有限公司，问了好多Hadoop大数据分析、spark方面的内容，总结一下：信心不大！

面经

1. 说一下你对hadoop生态圈的认识。 

2. yarn的理解

3. 数据来源的方式

4. fsimage和edit的区别？

5. MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什么？

6. hadoop的优化？

7. RDD中reduceBykey与groupByKey哪个性能好，为什么

8. rdd 怎么分区宽依赖和窄依赖

9. spark streaming 读取kafka数据的两种方式

10. kafka的数据存在内存还是磁盘