Netz-Treff - Verzeichnis zu voll - kann nicht gelistet werden

#62415

Mona [Gast]

22.06.2008, 01:30:13

Verzeichnis zu voll - kann nicht gelistet werden (web.server)

Hallo an alle,

ich werde langsam verrückt - habe ein Verzeichnis unter meinem cgi-bin, in das log-Dateien unserer Shopsoftware geschrieben werden.

Vor einer Woche konnte ich dieses log-Verzeichnis mit dem FTP-Programm weder listen noch löschen. Nach Hilferuf bei meinem Provider teilte der mir mit, dass das Verzeichnis mehr als 150000 Dateien enthält und es mit dem FTP-Programm nicht mehr geöffnet werden kann. Der Provider hat dann die Dateien gelöscht, so dass ich wieder Zugang hatte. Leider scheint das mit dem automatischem Löschen der alten Dateien nicht zu klappen: obwohl ich ein Zeitlimit von 3 Tagen eingegeben habe, ist das Verzeichnis heute schon wieder voll, so dass ich keinen Zugriff mehr habe.

Gibt es vielleicht ein anderes Programm als FTP, mit dem man auch auf Verzeichnisse zugreifen kann, die mehr als 150000 Dateien enthalten, so dass ich diese manuell löschen kann. Ich kann ja schließlich nicht jedes Mal den Provider fragen.

Bin dankbar für jeden Tipp !!

Viele Grüße - Mona

#62458 markuman [Gast] 22.06.2008, 11:25:30 @ Mona	Verzeichnis zu voll - kann nicht gelistet werden antworten
	Wenn du einen SSH Zugang von deinem Provider bekommst (oder diese evtl. schon mit in deinem Webhostpaket enthalten ist), kannst du es über die Konsole regeln.

#62537 Mona [Gast] 22.06.2008, 21:03:51 @ markuman	Verzeichnis zu voll - kann nicht gelistet werden antworten
	> Wenn du einen SSH Zugang von deinem Provider bekommst (oder diese evtl. > schon mit in deinem Webhostpaket enthalten ist), kannst du es über die > Konsole regeln. Danke für deine Antwort - was ist ein SSH-Zugang? LG - Mona

#63050

markuman [Gast]

24.06.2008, 16:00:01

@ Mona

Verzeichnis zu voll - kann nicht gelistet werden

antworten

> > Wenn du einen SSH Zugang von deinem Provider bekommst (oder diese evtl.
> > schon mit in deinem Webhostpaket enthalten ist), kannst du es über die
> > Konsole regeln.
>
> Danke für deine Antwort - was ist ein SSH-Zugang?
>
> LG - Mona

Kurz gesagt ist es eine Netzwerkverbindung zwischen dir und deinem Server.
http://de.wikipedia.org/wiki/Secure_Shell
Bei Linux Distributionen ist sowas i.d.r. dabei, wie das unter Windows aussieht weiß ich leider nicht.
Jedenfalls kann man dort mit cd schnell die verzeichnisse wechseln und z.B. mit rm *.log alle .log Dateien löschen.
Dabei sei nocht gesagt, Die Konsole hat imho keine probleme einen Ordnerinhalt mit huntertausenden Dateien anzuzeigen.

#63319

hdcrash

25.06.2008, 14:22:03

@ markuman

Verzeichnis zu voll - kann nicht gelistet werden

antworten

> Dabei sei nocht gesagt, Die Konsole hat imho keine probleme einen
> Ordnerinhalt mit huntertausenden Dateien anzuzeigen.
Anzeigen geht, ja. Das loeschen von 150.000 Files duerfte aber auch auf diesem Wege nicht gehen, denn die bash hat keinen unbegrenzt grossen Parameterpuffer. Ich weiss jetzt nicht genau, bei welcher File-anzahl Schluss ist, hatte aber das Problem schon. Dann hilft nur ein

for i in *.log; do rm -f $i; done

(Aber bitte vorher ins richtige Verzeichnis wechseln!)
Dann wird der rm-Befehl zwar 150.000 mal aufgerufen, aber man bekommt die Files wenigstens weg.
Dennoch ist natuerlich was wahres dran, dass so viele Dateien nicht in dieser kurzen Zeit entstehen sollten. Ich wuerd mich nach einem anderen Shopsystem umsehen, wenn sich das Problem nicht loesen laesst.

#62472

Cheatah

22.06.2008, 13:30:19

@ Mona

Verzeichnis zu voll - kann nicht gelistet werden

antworten

Hi,

> ich werde langsam verrückt - habe ein Verzeichnis unter meinem cgi-bin, in
> das log-Dateien unserer Shopsoftware geschrieben werden.

schlechte Wahl. Erstelle ein gesondertes Verzeichnis hierfür.

> Vor einer Woche konnte ich dieses log-Verzeichnis mit dem FTP-Programm
> weder listen noch löschen. Nach Hilferuf bei meinem Provider teilte der
> mir mit, dass das Verzeichnis mehr als 150000 Dateien enthält

Der Mechanismus zum Erstellen von Log-Dateien ist defekt. So viele Dateien mögen nach 400-500 Jahren legitim sein, nicht jedoch innerhalb weniger Monate. Überarbeite den Mechanismus bzw. lasse ihn überarbeiten.

> obwohl ich ein Zeitlimit von 3 Tagen eingegeben habe,

Was für ein Zeitlimit ist dies, wer oder was beachtet es und reagiert auf welche Weise darauf?

> Gibt es vielleicht ein anderes Programm als FTP,

FTP ist kein Programm, sondern ein Protokoll - vergleichbar mit HTTP. Genauso wie Du für HTTP ein Programm (vulgo Browser) verwendest, verwendest Du für FTP eines. Wie heißt dies?

> Ich kann ja schließlich nicht jedes Mal den Provider fragen.

Nein. Das grundlegende Problem lässt sich aber nicht durch die Wahl des Zugangsprogrammes lösen: Es werden definitiv massiv viel zu viel zu viele Dateien erzeugt. Sollten diese tatsächlich aus irgendwelchen Gründen nötig sein, ist für sie eine Struktur notwendig, also die Erzeugung von Unterverzeichnissen. Ich behaupte jedoch, die Menge der Dateien ist schlichtweg falsch.

Cheatah

#62536

Mona [Gast]

22.06.2008, 21:03:04

@ Cheatah

Verzeichnis zu voll - kann nicht gelistet werden

antworten

> Hi, - danke schon mal für deine Antwort.
>
> > ich werde langsam verrückt - habe ein Verzeichnis unter meinem cgi-bin,
> in
> > das log-Dateien unserer Shopsoftware geschrieben werden.
>
> schlechte Wahl. Erstelle ein gesondertes Verzeichnis hierfür.

Ich habe ja ein gesondertes Verzeichnis, das liegt unter dem cgi-bin. Muss so sein, sonst klappt das mit der Shopsoftware nicht.
>
> > Vor einer Woche konnte ich dieses log-Verzeichnis mit dem FTP-Programm
> > weder listen noch löschen. Nach Hilferuf bei meinem Provider teilte der
> > mir mit, dass das Verzeichnis mehr als 150000 Dateien enthält
>
> Der Mechanismus zum Erstellen von Log-Dateien ist defekt. So viele Dateien
> mögen nach 400-500 Jahren legitim sein, nicht jedoch innerhalb weniger
> Monate. Überarbeite den Mechanismus bzw. lasse ihn überarbeiten.
>
> > obwohl ich ein Zeitlimit von 3 Tagen eingegeben habe,
>
> Was für ein Zeitlimit ist dies, wer oder was beachtet es und reagiert auf
> welche Weise darauf?
In der Shopsoftware kann man in der ini-datei einen Wert für livedays festlegen, den ich von 30 auf 3 gesenkt habe, d.h. alle log-Dateien, die älter als 3 Tage sind, werden automatisch gelöscht. Scheint aber nicht zu klappen.

>
> > Gibt es vielleicht ein anderes Programm als FTP,
>
> FTP ist kein Programm, sondern ein Protokoll - vergleichbar mit HTTP.
> Genauso wie Du für HTTP ein Programm (vulgo Browser) verwendest,
> verwendest Du für FTP eines. Wie heißt dies?

Ich benutze WS-FTP oder CoreFTP.

>
> > Ich kann ja schließlich nicht jedes Mal den Provider fragen.
>
> Nein. Das grundlegende Problem lässt sich aber nicht durch die Wahl des
> Zugangsprogrammes lösen: Es werden definitiv massiv viel zu viel zu viele
> Dateien erzeugt. Sollten diese tatsächlich aus irgendwelchen Gründen nötig
> sein, ist für sie eine Struktur notwendig, also die Erzeugung von
> Unterverzeichnissen. Ich behaupte jedoch, die Menge der Dateien ist
> schlichtweg falsch.

Ich kann das ja auch nicht nachprüfen, oder gibt es eine Möglichkeit, sich anzeigen zu lassen, wieviele Daten in einem Verzeichnis enthalten sind? Ich bekomme halt immer die Fehlermeldung \"Receive error connection reset. Retrieve of folder listing failed (4)\" Laut Aussage des Provider bedeutet dies eben, dass das Verzeichnis mehr als 150.000 Dateien enthält und dieses nicht angezeigt werden kann. Ich habe auch überhaupt keine Erklärung für diese vielen Daten. Normalerweise wird immer nur wenn ich die online-Daten einlese (Bestellungen, Statistik) die Log-Datei in eine temporäre Datei verwandelt und in dieses besagte Verzeichnis verschoben. Das mache ich maximal zweimal am Tag.

LG - Mona

#62568

Cheatah

22.06.2008, 23:47:00

@ Mona

Verzeichnis zu voll - kann nicht gelistet werden

antworten

Hi,

bitte Verzichte darauf, Deine Sätze durch BBCode von Zitaten abzutrennen. Das ist bereits dadurch klar erkennbar, dass sie nicht mit \">\" beginnen.

> > schlechte Wahl. Erstelle ein gesondertes Verzeichnis hierfür.
> Ich habe ja ein gesondertes Verzeichnis, das liegt unter dem cgi-bin.

Sorry, ich habe mich falsch ausgedrückt. Was ich eigentlich meinte ist, dass solche Daten im Bereich des cgi-bin nichts verloren haben.

> Muss so sein, sonst klappt das mit der Shopsoftware nicht.

Die Software ist augenscheinlich *sehr* schlecht programmiert.

> In der Shopsoftware kann man in der ini-datei einen Wert für
> livedays festlegen, den ich von 30 auf 3 gesenkt habe, d.h. alle
> log-Dateien, die älter als 3 Tage sind, werden automatisch gelöscht.

Wer oder was löscht sie? Wie ist der Mechanismus aufgebaut?

> Ich benutze WS-FTP oder CoreFTP.

Hast Du mal andere Programme wie z.B. Filezilla ausprobiert?

> > Nein. Das grundlegende Problem lässt sich aber nicht durch die Wahl des
> > Zugangsprogrammes lösen: Es werden definitiv massiv viel zu viel zu
> > viele Dateien erzeugt. Sollten diese tatsächlich aus irgendwelchen Gründen
> > nötig sein, ist für sie eine Struktur notwendig, also die Erzeugung von
> > Unterverzeichnissen. Ich behaupte jedoch, die Menge der Dateien ist
> > schlichtweg falsch.
> Ich kann das ja auch nicht nachprüfen,

Ich meinte nicht, dass die Angabe falsch ist, sondern dass es sich um einen Defekt der Software handelt, wenn so viele Dateien angelegt werden.

> Ich habe auch überhaupt
> keine Erklärung für diese vielen Daten. Normalerweise wird immer nur wenn
> ich die online-Daten einlese (Bestellungen, Statistik) die Log-Datei in
> eine temporäre Datei verwandelt und in dieses besagte Verzeichnis
> verschoben. Das mache ich maximal zweimal am Tag.

Was sagt der Hersteller der Software zu diesem Problem?

Cheatah