hadoop计算节点数与效率问题
来自： 久绊
回复量：2
创建时间： 2017-03-28 16:40
假如我某个算法，在单机上需要花10分钟
我想在hadoop花1分钟运行这个算法，那么这个hadoop集群的计算节点数应该不止10个吧
请问那篇文章或那本书提到了这个问题，我记得看到过，但是找不到了
0 赞
2 回复
冰羽雪影
1F
2017-03-28 17:19:38
就算分解的好也要超过10个，
一般达到计算能力和的80%已经是非常高的水平了，按80%就至少需要12.5台
回复
赞（）
sunny
2F
2017-03-29 10:42:59
我用spark计算，单节点跑72秒的脚本，在5个节点的情况下还是72秒！ 我弄错了什么地方了吗？
回复
赞（）
最新活动
你可能感兴趣
Hadoop
695
mapreduce中 combiner 合并文件，默认是一次合并多少个文件啊？
Hadoop
729
请问 谁有课程 （推荐算法与Spark MLLIB） 里面的代码
Spark
944
Hadoop
733
机器学习
951
TA们都在讨论
