Con este mini script podemos listar los ficheros duplicados de cualquier directorio y recursivos:

find DIRECTORIO_PADRE -type f -print0 |  xargs -0 -n1 md5sum | sort --key=1,32 | uniq -w 32 -d --all-repeated=separate | cut -c35-

Explicación:

• find DIRECTORIO_PADRE -type f -print0
  Busca todos los ficheros (-type f) desde el directorio DIRECTORIO_PADRE y los muestra con el path completo terminado con un carácter null al final(-print0).
• xargs -0 -n1 md5sum
  pasa cada uno de los fichero encontrados (terminados con null -0 y como máximo 1 -n1) al comando md5sum y devuelve el checksum y el nombre del fichero.
• sort –key=1,32
  Ordena el listado usando los primeros 32 caracteres que es el checksum del MD5.
• uniq -w 32 -d –all-repeated=separate
  Muestra SOLO los duplicados (-d), ignorando los únicos, para ello solo compara los 32 primeros caracteres (-w 32) y agrupa los ficheros duplicados en grupos separados por una línea en blanco (–all-repeated=separate)
• cut -c35-
  Corta los 35 primeros caracteres que el el checsum y espacios, dejando solo el nombre del fichero.