Duplikate finden

Duplikate löschen oder linken

Bei Backups oder sonst kann es passieren, dass man Dateien doppelt oder noch öfter auf der HDD/SSD hat. Um diese unter Linux so zu werden gibt es ein schönes Werkzeug: rdfind

Installation

Fedora

sudo dnf install rdfind

Analyse

Ohne Angaben von Optionen wird das angegebene Verzeichnis nur untersucht und eine results.txt erstellt.

rdfind -minsize 1024 ~/Bilder
# Automatically generated
# duptype id depth size device inode priority name
DUPTYPE_FIRST_OCCURRENCE 170 1 186144 64771 3546853 3 Bilder/April_1080p/SAM_5620 (Kopie).JPG
DUPTYPE_WITHIN_SAME_TREE -170 1 186144 64771 3554371 3 Bilder/April_1080p/SAM_5620.JPG
DUPTYPE_FIRST_OCCURRENCE 186 1 190127 64771 3547294 3 Bilder/April_1080p/SAM_5628 (Kopie).JPG
DUPTYPE_WITHIN_SAME_TREE -186 1 190127 64771 3561994 3 Bilder/April_1080p/SAM_5628.JPG

hier kann man die Dateien entweder löschen, oder einfach Hardlinks erstellen. Besonders, wenn Dateien in "Alben" zusammen kopiert werden kann das Hilfreich sein.

rdfind -minsize 1024 -makehardlinks true ~/Bilder/
Now scanning "~/Bilder", found 485 files.
Now have 485 files in total.
Removed 0 files due to nonunique device and inode.
Total size is 870237334 bytes or 830 MiB
Removed 169 files due to unique sizes from list.316 files left.
Now eliminating candidates based on first bytes:removed 0 files from list.316 files left.
Now eliminating candidates based on last bytes:removed 0 files from list.316 files left.
Now eliminating candidates based on sha1 checksum:removed 0 files from list.316 files left.
It seems like you have 316 files that are not unique
Totally, 65 MiB can be reduced.
Now making results file results.txt
Now making hard links.
Making 158 links.