ssydxa219
- 浏览: 601203 次
- 性别:
- 来自: 杭州
社区版块
- ( 0)
- ( 0)
- ( 0)
最新评论
-
ssydxa219:
vim /etc/security/limits.confvi ...
ekl -
gamehu520:
table中无数据
hbase 出现的问题 -
xleer0102:
为什么都是只有问没有答,哭晕在厕所
hbase 出现的问题 -
jiajiao_5413:
-
coderdream:
不完整,缺com.tcs.org.demostic.pub.u ...
struts2.3.1.1 hibernate3.6.9final spring3.1.0 proxool maven annotation
文章列表
- 博客分类:
- hadoop2.7.0 ha spark
mapreduce
mapreduce是一种分布式计算模型,由google提出,主要用于搜索领域,mapreduce程序
本质上是并行运行的,因此可以解决海量数据的计算问题.
mapreduce任务过程被分为两个处理阶段:map阶段和reduce阶段.每个阶段都以键
值对作为输入和输出.用户只需要实现map()和reduce()两个函数即可实现分布式计算.
- 2015-06-09 08:48
- 浏览 801
- 分类:开源软件
- 博客分类:
- hadoop2.7.0 ha spark
集群中 spark 集群模式的安装过程配置过程并测试 spark 的一些基本使用方法。
安装环境如下:
操作系统:centos 6.5
hadoop 版本:hadoop2.7.0
spark 版本:1.3.0_5.4.0
1. 安装
首先查看 spark 相关的包有哪些:
$ yum list |grep spark
spark-core.noarch 1.3.0 cdh5.4.0 24-1.cdh5.4.0.p0.52.el6
spark-history-server.noarch ...
- 2015-05-22 09:41
- 浏览 1889
- 分类:企业架构