Hallo,

Ich habe folgendes Problem: Bei einem Bekannten soll ein Server System
erstellt werden. Zurzeit werden die Daten auf einem Linux (Feisty)
gespeichert, an dem mehrere USB Platten angeschlossen sind, ein Mac
Mini mit USB Platte und ein Tablet PC (interne Platte mit WinXP).

Wie man sich nun vorstellen kann, ist der Datenbestand völlig
unstrukturiert. Ziel ist es einen Linux Server zu haben, auf dem
zentral die Daten via Samba abgelegt werden.
Ich muss nun zunächst auf dem Linux Duplikate finden, meine Idee ist
mit find alle Datenverzeichnisse durch zu laufen, von jeder Datei einen
MD5-Hash zu erzeugen und die Liste in einer Daten zu speichern, so dass
ich dann nach identischen Dateien suchen kann und diese evtl
automatisiert lösche, das nächste ist, was ist mit "ähnlichen" Dateien,
d.h. z.b. eine Worddatei, aber verschiedene Versionen)? Ähnliche
Dateien lieferen unterschiedliche MD5-Hashes, gibt es eine Möglichkeit,
dass man wie unter PHP methaphone(<string>) verwendet, um sagen zu
können, welche Dateien per Hand geprüft werden müssen.

Das Datenvolumen beläuft auf ca 1,2 TB

Bin wirklich um Hilfe dankbar, denn per Hand zu sortieren wird Jahre dauern.

Phil

Hallo, Philipp,

Du meintest am 22.03.08:

> Ich muss nun zunächst auf dem Linux Duplikate finden, meine Idee ist
> mit find alle Datenverzeichnisse durch zu laufen, von jeder Datei
> einen MD5-Hash zu erzeugen und die Liste in einer Daten zu speichern,

http://arktur.shuttle.de/CD/5.0-slac...50-PR1-hln.zip

von Adrian Lopez

Viele Gruesse
Helmut

"Ubuntu" - an African word, meaning "Slackware is too hard for me".

Philipp Kraus schrieb:
>
> Ich habe folgendes Problem: Bei einem Bekannten soll ein Server System
> erstellt werden. Zurzeit werden die Daten auf einem Linux (Feisty)
> gespeichert, an dem mehrere USB Platten angeschlossen sind, ein Mac Mini
> mit USB Platte und ein Tablet PC (interne Platte mit WinXP).
>
> Wie man sich nun vorstellen kann, ist der Datenbestand völlig
> unstrukturiert. Ziel ist es einen Linux Server zu haben, auf dem zentral
> die Daten via Samba abgelegt werden.
> Ich muss nun zunächst auf dem Linux Duplikate finden, meine Idee ist mit
> find alle Datenverzeichnisse durch zu laufen, von jeder Datei einen
> MD5-Hash zu erzeugen und die Liste in einer Daten zu speichern, so dass
> ich dann nach identischen Dateien suchen kann und diese evtl
> automatisiert lösche, das nächste ist, was ist mit "ähnlichen" Dateien,
> d.h. z.b. eine Worddatei, aber verschiedene Versionen)?
>
> Das Datenvolumen beläuft auf ca 1,2 TB

Hallo,

für identische Daten kann ich fdupes empfehlen, damit kann man z.B. eine
Liste ausgeben lassen mit den doppelten Dateien inklusive der
Dateigrösse. Man kann das Programm aber auch im interaktiven Löschmodus
laufen lassen oder gleich ganz scharf mit automatischem Löschen
(Verlinken statt Löschen ist auch möglich).

http://netdial.caribe.net/~adrian2/fdupes.html
http://en.wikipedia.org/wiki/Fdupes
http://linux.die.net/man/1/fdupes

Alternativ kenne ich auch noch dupseek:
http://www.beautylabs.net/software/dupseek.html


Bernd Mayer
--
Schäuble, wenns Dir hier nicht gefällt, dann geh doch nach drüben!

Mahlzeit!

Philipp Kraus <philipp.kraus*flashpixx.de> wrote:

> Ich muss nun zunächst auf dem Linux Duplikate finden, meine Idee ist
> mit find alle Datenverzeichnisse durch zu laufen, von jeder Datei
> einen MD5-Hash zu erzeugen und die Liste in einer Daten zu
> speichern, so dass ich dann nach identischen Dateien suchen kann und
> diese evtl automatisiert lösche, das nächste ist, was ist mit
> "ähnlichen" Dateien, d.h. z.b. eine Worddatei, aber verschiedene
> Versionen)?

fdupes für "gleiche" Dateien wurde ja schon genannt. Wenn Bilder im
Spiel sind: ich nutze gerne die Ähnlichkeitssuche aus gqview.

Gruß,
Christian
--
.....Christian.Garbs.............................. .......http://www.cgarbs.de
Cogito ergo sum. (Ich glaub, ich bin der Ergo.)

Hallo, Philipp,

Du meintest am 22.03.08:

> Ähnliche Dateien lieferen unterschiedliche MD5-Hashes, gibt es eine
> Möglichkeit, dass man wie unter PHP methaphone(<string>) verwendet,
> um sagen zu können, welche Dateien per Hand geprüft werden müssen.

freedup -n

http://freedup.org
http://arktur.shuttle.de/CD/5.0-slac...-i386-1hln.tgz

Viele Gruesse
Helmut

"Ubuntu" - an African word, meaning "Slackware is too hard for me".