fdupes - Find Duplicate Files

Introduction

Recherche des fichiers dupliqués dans une arborescence de répertoires / fichiers. fdupes vérifie en premier la taille du fichier, puis calcule ensuite la somme md5 et finalement compare les fichiers byte par byte.

Utilisation de fdupes

Pour rechercher les fichiers dupliqués :

# Recherche des fichiers dupliqués

fdupes -r ./ > duplicates.txt

Le fichier “duplicates.txt” contiendra la liste des fichiers dupliqués. Ensuite, on peut passer en revue le fichier ou le trier pour obtenir la liste des fichiers à supprimer de certains répertoires.

# Tri du fichier 

sort duplicates.txt > duplicates-sorted.txt

Ensuite, sur base du fichier, on peut créer une liste de fichiers à déplaver ou à supprimer.

Exemple :

Déplacement de fichiers :

La liste des fichiers à déplacer se trouve dans un fichier mvlist.txt. Le script de déplacement dans mvlist.sh

mvlist.sh :

#!/bin/bash

DEST=~/"_temp_/photos.2rm/"

while read ligne 
do
	mv "$ligne" $DEST
done < ./mvlist.txt

Suppression de fichiers :

Le même script, mais pour la suppression des fichiers. La liste des fichiers à supprimer se trouve dans le fichier rmlist.txt

rmlist.sh :

#!/bin/bash

while read ligne 
do
	rm "$ligne"
done < ./rmlist.txt