【使用linux并发命令parallel加快处理文本文件】-原来是坑爹啊。
1,看到oschina 上面的一篇文章
如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等
http://www.oschina.net/news/45477/use-cpu-cores-linux-commands
系统使用的是Redhat 5
parallel的官网:
http://www.gnu.org/software/parallel/
需要使用opensuse的源进行安装
http://software.opensuse.org/download.html?project=home%3Atange&package=parallel
对于 CentOS CentOS-6,请以 根用户 root 运行下面命令:
cd /etc/yum.repos.d/wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-6/home:tange.repoyum install parallel
对于 CentOS CentOS-5,请以 根用户 root 运行下面命令:
cd /etc/yum.repos.d/wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-5/home:tange.repoyum install parallel
经测试wc -l 命令 发现在cpu数量是4的时候并没有提高计算时间,反而慢了。
计算1G文件行数,用wc-l花费 1s而使用 parallel后花费 10s
对于200MB的文件也是10倍的关系。
总结:
理论和实际使用还是有差别啊。在4cup的机器上面测试一点 优势也没有啊。
基本上要慢个 10倍以上啊。看来要处理大文件,还是hadoop比较靠谱啊。
>更多相关文章
- 11-131分钟学会U盘启动安装Linux系统
- 11-13克隆MAC地址来绕过强制门户
- 11-13Linux运维常见故障及处理的 32 个锦囊妙计
- 11-13如何快速以管理员权限运行Linux命令?
- 11-13超全面的Linux应急响应技巧
- 11-136 款面向 Linux 用户的开源绘图应用程序
首页推荐
佛山市东联科技有限公司一直秉承“一切以用户价值为依归
- 01-11全球最受赞誉公司揭晓:苹果连续九年第一
- 12-09罗伯特·莫里斯:让黑客真正变黑
- 12-09谁闯入了中国网络?揭秘美国绝密黑客小组TA
- 12-09警示:iOS6 惊现“闪退”BUG
- 05-06TCL科技:预计大尺寸面板价格上涨动能有望延
- 05-06新加坡电信Optus任命新首席执行官以重建品牌
- 05-06微软宣布为消费级用户账户提供安全密钥支持
- 05-06当好大数据产业“守门员”(筑梦现代化 共绘
- 04-29通用智能人“通通”亮相中关村论坛
相关文章
24小时热门资讯
24小时回复排行
热门推荐
最新资讯
操作系统
黑客防御