本程序的原理是扫描目标目录的所有文件,计算他们的md5值,如果一样,说明是一个文件。
统计出来所有md5值后,找到副本数量大于1的文件,只保留一份副本,然后用这份副本做硬链接到其它的几个副本文件名处。
从而尝试释放空间。
由于FAT/FAT32/EXFAT等文件系统不支持硬链接,所以这样的文件系统是不被支持的,也就不用尝试了。
(当前一般windows都是ntfs文件系统,支持硬链接)
最初写来是用来给微信数据文件夹瘦身的,因为微信的各种文件转发,图片转发什么的,都是copy,不是hard link。
改成hard link后,个人的30G占用空间,一下子就少了10G。
当然非微信的目录也是一样的可以文件去重。第一次执行时,它会自动生成一个dedup_files.ini的配置文件,
其中dirs里面指定了哪些目录是要扫描进行去重的,
cache_file:参数指定存放cache文件的路径,默认放在当前程序路径下
md5_key_file:以md5为key的hash dict,文件存放路径
ask_before_del:删除文件前,是否进行询问
可以到此安装exe版本:
链接: https://nr.ayxkf.com/pan/s/1CmxRMdTNMMDeoe69x6r6qg?pwd=y3gx 提取码: y3gx
源码在:https://github.com/sunhanaix/dedup_files
免责声明:
1:如非特殊说明,本站提供的素材及源码教程不拥有任何权利,其版权归原着者拥有。
2:本站内容均由互联网收集整理、网友上传,并且以技术研究交流为目的,仅供大家参考、学习,不存在任何商业目的与商业用途。
3:本站部分收费内容因本站持有版权专利,也仅做为本站日常维护费用,若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4:请勿将本站教程进行商业交易、转载等行为,只为研究、学习所提供,如使用后发生的一切问题与本站无关。
5:站内任何内容若有侵犯你的版权,请@客服QQ:994859115指出,本站将立即改正删除。
6:本站任何内容文字均为网络收集,不承担任何版权问题,也不提供任何技术支持!
1:如非特殊说明,本站提供的素材及源码教程不拥有任何权利,其版权归原着者拥有。
2:本站内容均由互联网收集整理、网友上传,并且以技术研究交流为目的,仅供大家参考、学习,不存在任何商业目的与商业用途。
3:本站部分收费内容因本站持有版权专利,也仅做为本站日常维护费用,若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4:请勿将本站教程进行商业交易、转载等行为,只为研究、学习所提供,如使用后发生的一切问题与本站无关。
5:站内任何内容若有侵犯你的版权,请@客服QQ:994859115指出,本站将立即改正删除。
6:本站任何内容文字均为网络收集,不承担任何版权问题,也不提供任何技术支持!