猪八戒网大数据开发面经

前言

公司：猪八戒网(北京)企业孵化器有限公司，大学那会经常去这个网站接私活，后来有幸被内推进面试大数据，然而，技术面的时候死在某个算法题上了，不过他们公司还是非常不错的，白瞎了内推机会了~

面经

1. MapReduce的Shuffle过程

2. 如果Reduce个数和分区数不一致时，会发生什么

3. Shffule过程中排序用的什么算法

4. 使用过Hive解析JSON串么

5. 公司集群规模，数据量，节点配置（内存大小，硬盘大小，CPU核心数）

6. 了解fail-fast机制么

7. kafka宕机了如何解决

8. 了解什么是JUC么

9. 这个项目每天的数据量有多大？那有所少台机子？

10. 那你们这些sparksql已经给你们封装好了，你们就往里填sql就好了吗？

11. 那你对数据仓库的理解呢？因为你们这bdm fdm什么的也分层了，那你们分层的依据是什么呢？