Google MapReduce如何支持多种分区函数与合并函数，如何保证顺序，支持何种输入输出类型，如何处理损坏数据，能否支持进度查看，这些问题都需要得到解决。
标签存档: mapreduce
Google MapReduce阅读笔记（二）
作者: habadog 日期: 2011 年 05 月 09 日
评论关闭
MapReduce模型有多种实现方式，一种是小型共享内存式，一种是基于NUMA架构的大型多处理器。Google是如何实现MapReduce的呢？整个执行流又是怎么样的呢？
Google MapReduce阅读笔记（一）
作者: habadog 日期: 2011 年 05 月 08 日
评论关闭
MapReduce不是一个产品，它是一种基于分治思想，一种解决问题的思路。Google MapReduce是Google产出的一个编程模型，算法模型，当然Google也有其相关实现，提供给了用户相关函数接口：
（1）Map函数接口处理一个基于key/value（后简称kv）的成对（pair）数据集合，同时也输出基于kv的数据集合；
（2）Reduce函数接口用来合并Map输出的kv数据集合；
现实中有许多应用需求都能用这种模型处理，许多应用都能用这种方法解决。
近期评论