Hallo zusammen,
Frage an die Experten zur Beherrschung der Flut von Daten.
Verwalte die Wetterdaten ab dem Jahr 1999. Habe mit Ach und Krach die Daten (ca. 170 MB)auf den Server mit WISE-FTP (V2.1.3.0)gewuchtet. Nach mehreren Abstürzen usw. (Windows XP, AMD 1800+, 512 MB...). Bei Auswahl der Verzeichnisse sowohl auf PC (Wswinhtml) als auch auf Server braucht der Ftp-Client jeweils über 10 Minuten bis die Daten zur Auswahl bereit stehen und mit der Selektion der Daten zum Transfer begonnen werden kann. usw. usw...
Gibt es ein paar Vorschläge für eine effiziente Vorgehensweise?.
Es muss was geben, denn sonst würden ja nicht so viele Daten im WWW vorhanden sein.
Vielen Dank schon im Voraus.
http://www.wetter.mwillner.de
Datenbeherrschung?
Moderatoren: Werner, Tex, weneu
-
Edmund
-
Michael, DF1UD
Hallo,
jetzt wo die Masse der Daten schon auf dem Server ist, geht es um die geänderten bzw. neuen Daten. Ich führte es schon in meinem ersten Eintrag an, es geht um folgendes:
die gesamten Daten, sowohl Lokal als auch auf dem Server, befinden sich jeweils alle in einem Verzeichnis (ca. 17000 Dateien). Der Ftp-Client benötigt eine zu lange Zeit, bevor jeweils das 'Source-Verzeichnis' auf dem PC und das 'Destination-Verzeichnis' auf dem Server zur Verfügung stehen, um die selektierten, d.h. die sich geänderten und neuen Daten transferiert werden können. So dauert ein solcher Vorgang des 'Uploads' ca. 20 Minuten. Bis dahin sind die aktuellen Daten schon wieder veraltet.
Was ich suche, ist ein Ftp-Client der dieses wesentlich schneller bewerkstelligt oder aber noch eleganter, dass die älteren Daten, die nicht mehr transferiert werden müssen, sich in anderen Verzeichnissen befinden (auf dem PC und auf dem Server). So wie ich es gelesen bzw. verstanden habe, müssen auf dem PC die Daten alle im 'html'-Verzeichnis sein, denn sonst werden die hier nicht vorhandenen Daten auch nicht in die START.html übernommen. ODER??
Ich suche eine Lösung aus meinem Irrweg.
Danke fürs Lesen und Antworten.
Michael aus Ketsch
jetzt wo die Masse der Daten schon auf dem Server ist, geht es um die geänderten bzw. neuen Daten. Ich führte es schon in meinem ersten Eintrag an, es geht um folgendes:
die gesamten Daten, sowohl Lokal als auch auf dem Server, befinden sich jeweils alle in einem Verzeichnis (ca. 17000 Dateien). Der Ftp-Client benötigt eine zu lange Zeit, bevor jeweils das 'Source-Verzeichnis' auf dem PC und das 'Destination-Verzeichnis' auf dem Server zur Verfügung stehen, um die selektierten, d.h. die sich geänderten und neuen Daten transferiert werden können. So dauert ein solcher Vorgang des 'Uploads' ca. 20 Minuten. Bis dahin sind die aktuellen Daten schon wieder veraltet.
Was ich suche, ist ein Ftp-Client der dieses wesentlich schneller bewerkstelligt oder aber noch eleganter, dass die älteren Daten, die nicht mehr transferiert werden müssen, sich in anderen Verzeichnissen befinden (auf dem PC und auf dem Server). So wie ich es gelesen bzw. verstanden habe, müssen auf dem PC die Daten alle im 'html'-Verzeichnis sein, denn sonst werden die hier nicht vorhandenen Daten auch nicht in die START.html übernommen. ODER??
Ich suche eine Lösung aus meinem Irrweg.
Danke fürs Lesen und Antworten.
Michael aus Ketsch
-
Edmund
Hallo Michael,
genau darumgeht es, nur die neuen Daten auf den Server zu laden. Viele FTP-Clients synchronisieren die Verzeichnisse zwischen Client und Server und das dauert halt bei der Menge an Daten.
Der Watchdog läuft permanent im Hintergrund und prüft auf Änderungen auf dem Client. Versuchs einfach mal, mehr wie schiefgehen kann es nicht.
Das Verzeichnis in dem deine Dateien gespeichert werden kannst du unter
-Internet-Einstellungen
-Allgemeines
vorgeben.
Es muss nicht das HTML-Verzeichnis sein.
Gruss
Edmund
genau darumgeht es, nur die neuen Daten auf den Server zu laden. Viele FTP-Clients synchronisieren die Verzeichnisse zwischen Client und Server und das dauert halt bei der Menge an Daten.
Der Watchdog läuft permanent im Hintergrund und prüft auf Änderungen auf dem Client. Versuchs einfach mal, mehr wie schiefgehen kann es nicht.
Das Verzeichnis in dem deine Dateien gespeichert werden kannst du unter
-Internet-Einstellungen
-Allgemeines
vorgeben.
Es muss nicht das HTML-Verzeichnis sein.
Gruss
Edmund
-
Michael, DF1UD
Hallo Edmund,
danke für den Tip mit FTP-Watchdog. Funktioniert ganz ausgezeichnet. Zu dem HTML-Verzeichnis ist klar, dass ich das auch anders nennen kann, aber wie kann ich es drehen, dass meine 'Alten Dateien' so in Ordnern liegen, dass ich nicht alle 17000 Dateien in einem Ordner habe. Denn damit hat Windows echt Schwierigkeiten, sprich: braucht eine Menge Zeit. Gut, aber dies ist im Moment nicht mehr so wichtig.
Muss jetz noch ein neues Topic erstellen bzgl. PC-Online.
Gruss und nochmals Danke
Michael
danke für den Tip mit FTP-Watchdog. Funktioniert ganz ausgezeichnet. Zu dem HTML-Verzeichnis ist klar, dass ich das auch anders nennen kann, aber wie kann ich es drehen, dass meine 'Alten Dateien' so in Ordnern liegen, dass ich nicht alle 17000 Dateien in einem Ordner habe. Denn damit hat Windows echt Schwierigkeiten, sprich: braucht eine Menge Zeit. Gut, aber dies ist im Moment nicht mehr so wichtig.
Muss jetz noch ein neues Topic erstellen bzgl. PC-Online.
Gruss und nochmals Danke
Michael
