设为首页收藏本站

cdlinux论坛

 找回密码
 立即加入

QQ登录

只需一步,快速开始

扫一扫,访问微社区

搜索
查看: 555|回复: 2

100G的字典如何去重

[复制链接]
发表于 2018-9-26 16:24:27 | 显示全部楼层 |阅读模式
手上有合100G字典想去重复,但是运存只有8G。linux下使用awk运行到一半运存就100%中断。该怎么去除重复

点评

海!外*** t.cn/RxmJTrC 禁闻视频 t.cn/Rxl1r5o 医院成了屠宰场;学校成了洗脑班;酒店成了办公处;道德成了奢侈品;人民成了提款机;新闻成了编故事;官员成了奴隶主;国家成了大监狱…中国真实现状  发表于 2018-12-9 10:37
回复

使用道具 举报

发表于 2018-10-22 11:26:12 | 显示全部楼层
可以共享一下字典么
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

本版积分规则

免责声明: CDLINUX思维论坛所发布的一切教程文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。

小黑屋|手机版|cdlinux论坛    

GMT+8, 2018-12-18 00:20 , Processed in 0.828125 second(s), 26 queries .

Powered by Discuz!

© 2012-2016 CDlinux

快速回复 返回顶部 返回列表