Netatmo CSV für WSWIN

Sep21 · Beitrag von **Sep21** » 21 Sep 2017 13:41

Ich hatte vor vielen Jahren eine WS2000 im Zusammenhang mit WSWIN (Vollversion). Da mit den jahren das Plastik perös wurde und so einiges defekt, hatte ich eine andere, die ich als Dateiüberwachung (Heavywether) auch mit WSWIN nutzte. Nun wollte ich mit der zeit gehen und habe mir eine WLAN-Station von Netatmo zugelegt. Soweit bin ich ganz zufrieden damit und die Messungen scheinen recht gut zu sein. Leider ist die Web-App doch recht simpel gehalten. Da bin ich von WSWIN mehr verwöhnt

Man kann eine CSV-Datei herunterladen. Diese wollte ich nun auch nach genauer Anweisung des Videos von Werner Neudeck in WSWIN bringen. Leider scheitert es schon an zwei Dingen:

1. Die von Netatmo erzeugte CSV-Datei hat weder Punkt noch Komma oder Semikolum als Trennzeichen

Muss ich dann auf "blank"

2. Die Aufteilung ist anders. Die verscheidenen Bereiche wie Zeit/Datum, Temperatur... gehen nicht von unten nach oben sondern von links nach rechts.

Habe eine Funktion unter Formatierung gefunden in Excel wie man es ändern kann, ist nur jedesmal etwas mühsehlig. Geht das auch anders?

Außerdem ist mir aufgefallen, daß im Bereich, in dem die Temperatur stehen sollte ein ganz fremdes Datum steht z. B. 19.03., da hatte ich noch gar keine Station. Wenn ich die Datei als XLS von Netatmo herunterlade steht in dem Bereich Temperatur die Temperatur wie es sein soll, nur ist es dann keine csv-Datei.

Dann sind das auch zwei Dateien, jeweils für innen und außen. Innen brauche ich wenn ich den Luftdruck mit übernehmen will. muß das händisch rüberkopiert werden?

Dieser komische Zeitstempel ganz vorne, brauch eich den?

Gibt es einigermaßen Abhilfe?

Hier mal die Art wie die Datei (Außen) bei mir aussieht:

StationName Long Lat ModuleName ModuleType
Gottenheim 77.350.433 48.050.723 AuÃƒÅ¸en Outdoor
Timestamp Timezone : Europe/Berlin Temperature Humidity
1505926512 20.09.2017 18:55 20. Jan 55

und so die innen:

StationName Long Lat ModuleName ModuleType
Gottenheim 77.350.433 48.050.723 Innen Indoor
Timestamp Timezone : Europe/Berlin Temperature Humidity CO2 Noise Pressure
1505930549 20.09.2017 20:02 26. Mai 57 317 42 1027.6

LE-Wetter · Beitrag von **LE-Wetter** » 21 Sep 2017 18:38

Hallo Sep21,

(heißt du morgen dann sep22?

)
Gehe exakt nach der Videoanleitung von Werner vor Erstellen einer X-CSV vor.
Wenn du die Grundruktur erstellt hast, funktioniert das mit dem Einlesen auch.
Die Grundstruktur der CSV.cfg sieht dann in etwa so aus, wie diese hier mit einem Sensor innen und der Luftfeuchte - über einen Editor aufrufbar die cfg.

[Config]
XCSVRem=Teststation
XCSVDate="dd.mm.yyyy hh:nn"
XCSVTime=""
XCSVStartLinie=3
XCSVSeparator=59
XCSVFillChar=0
XCSVPreChar=0
XCSVUTC=0
XCSVMin=5
ImpPath=C:\2.WsWin\
ImportFName=DEINECSV_21_9_2017.CSV
[Fields]
ID1=0
U1=0
ID2=102
U2=0
ID3=2
U3=0
ID4=18
U4=0
ID5=0
...
ID28=0
U28=0
ID29=255
U29=255

Der Pfad Name und der CSV Name ist bei dir natürlich anders

Sep21 · Beitrag von **Sep21** » 22 Sep 2017 13:29

Hallo LE-Wetter

der mit dem Namen war gut

Ist mir erst auf Deinen Hinweis hin aufgefallen dass es grad der 21. war.

Ach wie unhöflich von mir nicht meinen Namen zu nennen im Eifer des Gefechts.

also ich hab es nochmal probiert auf Dein Post hin und es funktioniert bei mir nicht. Auch wenn ich die Reihenfolge ignoriere (von links nach rechts und nicht von oben nach unten) wie von Dir geschrieben. Entweder passiert mit Klick auf ok für das importieren gar nix oder es erscheint Fehlermeldung ungültige csv-Datei. Dies wenn ich sie erst als xls herunterlade und dann in Exel anpasse und als csv speichere. Wobei es dort mehrere Formen von csv gibt. Habe aber alle probiert. Jedesmal kommt ungülgite Datei. Wenn ich die Daten als csv von netatmo runterlade steht bei Temperatur in der Spalte ein Datum was es gar nicht geben kann....aber das hab ich ja schon erwähnt.

Meine wswin_x-csv_test sieht folgendermaßen aus:

[Config]
XCSVRem=Test Cfg
XCSVDate="yyyy-mm-dd hh:nn:ss"
XCSVTime=""
XCSVStartLinie=3
XCSVSeparator=32
XCSVFillChar=1
XCSVPreChar=0
XCSVUTC=0
XCSVMin=5
ImpPath=D:\Programme\WSWIN\
ImportFName=Außen_22-9-2017
[Fields]
ID1=0
U1=0
ID2=102
U2=0
ID3=2
U3=0
ID4=18
U4=0
ID5=0
U5=0
ID6=0
U6=0
ID7=0
U7=0
ID8=0
U8=0
ID9=0
U9=0
ID10=0
U10=0
ID11=0
U11=0
ID12=0
U12=0
ID13=0
U13=0
ID14=0
U14=0
ID15=0
U15=0
ID16=0
U16=0
ID17=0
U17=0
ID18=0
U18=0
ID19=0
U19=0
ID20=0
U20=0
ID21=0
U21=0
ID22=0
U22=0
ID23=0
U23=0
ID24=0
U24=0
ID25=255
U25=255

Naja schade, soll halt nicht sein. ein Versuch war es wert.

Viele Grüße
Helmut (und nicht sep 22

)

Beitrag von **weneu** » 22 Sep 2017 17:48

Hallo Helmut,
nur als Hinweis: Excel ist für solche Zwecke relativ ungeeignet, weil es oft den Inhalt (auch wenn es unter csv firmiert) unzulässig verändert. Das soiehst Du aber als User gar nicht.
Nimm für die Bearbeitung einen einfachen Editor

Tex · Beitrag von **Tex** » 22 Sep 2017 18:31

Soweit ich mich erinnere, hat ein User mal ein Script für Netatmo geschrieben, womit man die Daten per x-csv(?) in WSWIn importieren kann. Mal die SuFu hier nutzen.

LE-Wetter · Beitrag von **LE-Wetter** » 22 Sep 2017 19:27

Mit der obigen CFG wird die Netatmo ausgelesen
Die ersten vier Zeilen der CSV sollten so aussehen:

StationName;Long;Lat;ModuleName;ModuleType;;
XXXXXberg;9;"03xxxx;48";"67xxxx;Garten;Indoor"
Timestamp;Timezone : Europe/Berlin;Temperature;Humidity;;;
1388531071;01.01.2014 00:04;15;"5;54;";

Da sieht man dann auch schon, dass oben und in der dritten Zeile die Semikolon fehlen. Die "komische Zahl" Reihe 4 gehört dazu

Herbiy · Beitrag von **Herbiy** » 25 Sep 2017 17:50

Hallochen!

Die CSV von der Netatmoseite ist nicht so einfach, da jeder Sensor separat herunter geladen werden muss, außerdem hat jeder Sensor einen eigenen Zeitstempel.

ich kenne derzeit 3 Möglichkeiten die Netatmodaten in WSWIN zu holen.

Manuel:
Ich habe mir eine Excelvorlage gebastelt die die Sensoren zusammen fügt und eine CSV Datei erstellt.

Automatisch:

Ein Script von Rene Schreiber liest die Daten automatisch vom Netatmoserver aus und erzeugt eine CSV-Datei die dann regelmäßig eingelesen werden kann. Leider kann man die Niederschlagsdaten nur alle Stunden einlesen.
z.B.: http://herbiy.better-than.tv/Otto/start.html

Weiters gibt es die Möglichkeit die Station direkt über das Netzwerk auszulesen und zwar mit dem Programm PRTG und einen Plugin. Diese Methode klingt gut, allerdings habe ich es noch nicht ausprobiert, den PRTG hat mich vom Funktionsumfang etwas überfordert.

Lg.

Herbert

Sep21 · Beitrag von **Sep21** » 28 Sep 2017 08:16

In der Tat verändert Excel wohl die Datei. Wenn ich die vom Netatmoserver heruntergeladene Datei mit dem Editor öffne sieht sie ganz anders aus. Es ist alles da und sogar mit Semikolom getrennt. Allerdings alles hintereinander am Stück. Heißt die ersten Zeilen für Beschreibung stehen alle in der Ersten zeile und gleich danach beginnen die Daten auch in der ersten Zeile. Sobald ich 3was ändere (nur Zeilenumbruch z. B. ) und wieder so speichere mit dem Editor, will WSWIN die Datei wieder nicht. Zudem weiß ich nun nicht wie ich das mit der Reihenfolge bei der Erstellung von X-CSV angeben soll, da ja alle daten hintereinander und nicht Zeile für Zeile kommen.

Habe mir nun mal das Programm CSV-Buddy heruntergeladen. Damit soll man CSV-Dateien bearbeiten und wieder speichern können. Beim öffnen sieht alles schön Zeile für Zeile aus. ABER: es steht nur der TIMESTAMP (ob ich den überhaupt brauche und wenn wie gebe ich das bei wswin an?), dann Datum und Uhrzeit, die restlichen Daten sind nicht da. Wenn ich es mit dem Editor öffne ist alles da.

Naja CSV ist wohl die "Warmduscherin" unter den Dateien, die man ja nicht berühren sollte.

Das mit dem Script bringt mir glaube ich weniger, da ich keinen Webserver/Webspace nutze und die Daten eigentlich nur lokal auf dem Rechner mit WSWIN auswerten möchte mit Statistik und so.

Werde vielleicht noch etwas experimentieren bis mir die Sache zu böld wird und ich zur CSV sag "rutsch mir doch den Buckel runter"

Danke trotzdem für eure Hilfe, aber wie es aussieht klappt bei mir die Verarbeitung mit csv nicht.

Herbiy · Beitrag von **Herbiy** » 28 Sep 2017 17:10

Du brauchst kein Webspace um das Skript abzuarbeiten sondern nur ein Programm das das PHP-Script verarbeiten kann, ich verwende XAMPP, du müsstest allerdings den Rechner immer laufen lassen.

Wenn du willst schick ich dir meine Excel Vorlage mit der ich die Daten von Netatmo für WSWIN aufbereite. da kannst du die Daten wann immer du willst aufbereiten.

lg

Herbert

Sep21 · Beitrag von **Sep21** » 29 Sep 2017 06:31

Hallo Herbert,

ok dann könnte ich das ja mal versuchen, allerdings nicht wenn ich den Rechner immer anlassen muß. Vielleicht kann man das skript ja auch manuell starten? mir reicht es eigentlich ab und zu die Daten zu aktualisieren (monatlich für Statistiken etc).

Wie bereits erwähnt habe ich mit verschiedenen Methoden schon versucht die csv zu bearbeiten und wieder zu speichern. Entweder WSWIN meldet ungültige Datei oder es reagiert mit Klick auf ok so als ob die Daten genommen werden, passieren tut aber nix. Es wird in WSWIN dann nix angezeigt.

U. a. habe ich auch versucht die Daten der beiden Dateien Außen und innen zusammenzulegen, da bei der Innen ja der Luftdruck mit drin ist. Also auch wenn es bischen Arbeit ist, wäre das ab und zu mal ok, aber wswin will die von mir erzeugte Datei einfach nicht, auch wenn ich extra die x-csv so anlege wie die Daten in der csv vorliegen.

Gerne kannst Du mir mal das Skript bzw. Ablauf schicken. Weniger als bisher wird nicht dabei raus kommen

Silvio_Chemnitz · Beitrag von **Silvio_Chemnitz** » 29 Sep 2017 07:24

Hallo Herbiy,

ich hätte auch gerne eine automatisierte Lösung zum Einlesen der NetAtmo-Station in WsWin, du hast geschrieben, dass es eine automatische Lösung gibt, ich konnte aber keinerlei Script etc. dazu finden, kannst du da evtl. behilflich sein und kennst Quellen dazu?

Vielen Dank im Voraus!
Vg Silvio

Herbiy hat geschrieben:Hallochen!

Die CSV von der Netatmoseite ist nicht so einfach, da jeder Sensor separat herunter geladen werden muss, außerdem hat jeder Sensor einen eigenen Zeitstempel.

ich kenne derzeit 3 Möglichkeiten die Netatmodaten in WSWIN zu holen.

[...]

Automatisch:

Ein Script von Rene Schreiber liest die Daten automatisch vom Netatmoserver aus und erzeugt eine CSV-Datei die dann regelmäßig eingelesen werden kann. Leider kann man die Niederschlagsdaten nur alle Stunden einlesen.
z.B.: http://herbiy.better-than.tv/Otto/start.html

[...]

Lg.

Herbert

Sep21 · Beitrag von **Sep21** » 29 Sep 2017 14:27

Nach langem hin und her habe ich es nun geschafft das WSWIN die Daten per CSV nimmt. Habe zum bearbeiten Excel genommen, damit ich die beiden Dateien von Außen und Innen in eine bekomme, dann habe ich diese als txt gespeichert und dann mit notepad++ geöffnet und wieder als txt gespeichert. Das hat dann WSWIN akzeptiert. Also für diejenigen die auch eine Lösung suchen.

Habe nun nur noch ein kleines Problemchen: bei der x-csv habe ich für Temperatur innen die id01 angegeben weil dabei auch Temperatur innen steht. Unter WSWIN kann ich unter ANsicht - Meßgrößen wählen die ID01 nicht auswählen. Da bleibt wohl nur die Innentemperatur in der x-csv z. B. als Temp 2 zu benennen und diese dann in WSWIN so in der Ansicht zu aktivieren?

Also das Problem hat sich weitgehend gelöst. Ist zwar einiges an handarbeit jedesmal die Daten hin und her und umzuwandeln, aber ich denke dann werde ich halt dies nur alle ein bis zwei Monate machen. Dachte einmal im Jahr, aber ich glaube da habe ich dann die Vorgehensweise wieder vergessen

Das mit dem Skript wäre auch gut, aber ich kann kein php und wo ich dies in xampp integrieren soll ist mir auch schleierhaft. Also ich mach es dann halt erstmal so. Danke trotzdem für eure Hilfe.

Grüße Helmut

Herbiy · Beitrag von **Herbiy** » 29 Sep 2017 15:39

Hallochen!

Unter http://herbiy.better-than.tv/Test/ sind die Unterlagen zum Download zu finden.

Cronjob.bat startet die import-csv.php, sollte man alle 10 Minuten durchführen. Kürzer macht keinen Sinn, da die Daten nur alle 10 Minuten zur Verfügung gestellt werden.

Cronjob_rain.bat startet die import_rain-csv.php - alle Stunden mit 4 Minuten Verzögerung laufen lassen. Es lassen sich leider nur die
stündlichen Nierderschlagsdaten auslesen.

Die Bat-Dateien funktionieren nur wen XAMPP unter C:\xampp installiert ist, ansonsten muss man den Pfad in der Bat-Datei ändern.

Netatmo_Wind.xlsx zum manuellen Download. Damit bekommt sämtliche Daten ausgelesen werden, als Zeitstempel wird jener des Außensensors verwendet

lg

Herbert

Beitrag von **weneu** » 29 Sep 2017 17:11

Hallo Helmut,
du sagst

bei der x-csv habe ich für Temperatur innen die id01 angegeben weil dabei auch Temperatur innen steht. Unter WSWIN kann ich unter ANsicht - Meßgrößen wählen die ID01 nicht auswählen.

Ich vermute, dass du hier etwas falsch verstehst.
Stelle doch mal die von Dir erstellte x-csv hier ein, dann kann man es vielleicht erkennen.
Wenn Du die x-csv richtig entworfen hast, muss sie in WSWIN auch beim Sensor Innentemperatur zu sehen sein.
@Herbert
Ich glaube, Du überforderst Helmut (ohne ihm zu nahe treten zu wollen). Denn wenn er gar nicht weiß, was XAMPP ist bzw. wenn er meint, er müsse die Datei in XAMPP "integrieren", dann ist er Lichtjahre von einer Anwendung von XAMPP entfernt. Ich denken, da weckst Du falsche Hoffnungen.

Herbiy · Beitrag von **Herbiy** » 29 Sep 2017 19:37

Hallo Werner!

Habe mich auch eher auf Silvio bezogen der das Script gerne hätte, darum habe ich gleich alles, was ich zum Datentransfer von Netatmo nach WSIN habe, online gestellt.

Man braucht ja nicht mit XMAPP zu arbeiten sondern einfach nur installieren. Es geht sicher auch mit anderen Programmen aber ich kenne nur das eine.

lg

Herbert