Dies ist Teil 1. Teil 2 finden Sie hier.
Einführung#
Es ist zwei Jahre her, dass ich einen Artikel geschrieben habe. Es ist nie zu spät, wieder anzufangen. Besonders für ein Thema, das die gesamte Kette von der physikalischen Messung bis zu ihrer Analyse auf einfache Weise abdeckt.
Wir sprechen also über ein Thema, das mir besonders wichtig erscheint: wie man die Messwerte von Sensoren aufzeichnet, die ihre Daten asynchron senden, ihren Live-Status visualisiert oder ihre früheren Messungen analysiert.
Dazu sprechen wir über Feuchtigkeits-, Temperatur- und Luftdrucksensoren im Bereich der Hausautomation. Ziel ist es nicht, Home Automation (HA) neu zu erfinden, sondern Node-Red und die hervorragenden Holoviz-Bibliotheken Holoviews & Panel mit Sensoren für ein paar Euro zu erkunden. Dasselbe Prinzip lässt sich auf jedes beliebige Gebiet anwenden.
In wenigen Abschnitten:
- Hardware: von Zigbee zu MQTT
- Live-Daten im Dashboard mit Holoviews stream
- Daten aufzeichnen mit Node-Red und PostgreSQL
- Dashboard mit historischen Daten
Die Abschnitte 3 und 4 folgen in meinem nächsten Blogartikel.
Hardware#
- ein Rechner, auf dem Zigbee2MQTT (EN) laufen kann, hier ein RaspberryPi 3B+.
- einen Zigbee-Sniffer. Ich habe mich für einen entschieden, der in einer Anleitung von projetsdiy.fr empfohlen wird: den CC2531 von Texas Instrument (FR) (Links sind vermutlich gesponsert), aber andere sind kompatibel (EN).
- einen Satz Sensoren, die das Zigbee-Protokoll nutzen und vorzugsweise mit der Zigbee2MQTT-Bibliothek kompatibel sind (EN). Hier werden Temperatur-, Feuchtigkeits- und Drucksensoren von Xiaomi verwendet.
Der RaspberryPi 3B+ dient nicht nur als Zigbee-Koordinator und MQTT-Broker, sondern hostet auch Node-Red, PostgreSQL und unsere selbst entwickelten Panel-Anwendungen. Im lokalen Netzwerk können Sie diese Dienste natürlich auf verschiedene Rechner verteilen.
Einrichtung#
Hier gehen wir nicht ins Detail. Jedes Modul ist auf der jeweiligen Projekt-Website ausführlich dokumentiert. Ich gebe nur einen Überblick mit den Besonderheiten dieses Projekts.
Zigbee-Sniffer und MQTT-Broker#
Die Dokumentation auf der Haupt-Website ist sehr gut: https://www.zigbee2mqtt.io.
Ein kleiner Tipp: Notieren Sie sich Uhrzeit und Reihenfolge, in der Sie Ihre Sensoren zurücksetzen. Anschließend finden Sie ihre IDs im Journal mit journalctl -u zigbee2mqtt.service wieder. Dann können Sie ihnen in der Konfigurationsdatei /opt/zigbee2mqtt/data/configuration.yaml sprechende Namen geben.
Sie müssen außerdem die Option retain für jeden Sensor hinzufügen: Der Broker soll die zuletzt gesendeten Daten des Sensors speichern. Andernfalls geht die Information für immer verloren, wenn gerade niemand zuhört. Bei Zigbee-Sensoren kann das Senden neuer Daten bis zu einer Stunde dauern (denken Sie daran: geringer Verbrauch). Beim Neustart Ihrer Anwendung möchten Sie womöglich dennoch wissen, was die letzten Daten waren und wann sie gesendet wurden.
Hinweis: Xiaomi-Sensoren haben einen kleinen Knopf, um die aktuellen Messwerte sofort zu senden.
Auszug aus der Konfigurationsdatei:
devices:
'0x00158d00054692fd':
friendly_name: TH_Chambre
retain: trueTH steht für Temperatur, Humidity (Feuchte).
Datenbank#
Ich habe mich für PostgreSQL entschieden, das sich einfach mit sudo apt install postgresql postgresql-contrib installieren lässt.
Ich empfehle, einen Benutzer, nennen wir ihn pi, mit Fernzugriff auf eine Datenbank namens sensors anzulegen. Ich habe ein Schema th hinzugefügt, in dem automatisch eine Tabelle pro Sensor angelegt wird. Darauf kommen wir im Abschnitt zu Node-Red zurück.
Node-Red#
Die Dokumentation ist ebenfalls gründlich: https://nodered.org/docs/getting-started/raspberrypi
Python 3.7 und seine Bibliotheken#
Glücklicherweise ist die neueste Raspbian-Version mit Python 3.7 kompatibel. Ein einfaches sudo apt install python3 genügt (python2 bleibt die Standard-Engine).
Dann:
pip3 install paho-mqttfür MQTT.pip3 install holoviews panel hvplotfür das Dashboardpip3 install sqlalchemy psycopg2für den Zugriff auf die Datenbank.
Auf Ihrem eigenen Rechner empfehle ich dringend, für die Installation die virtuelle Umgebung von conda zu verwenden. Sie können auch Jupyter Notebook nutzen. Eine der netten Funktionen von Panel ist die Live-Bearbeitbarkeit: Sie können das Notebook als Quellcode Ihrer Anwendung verwenden.
Live-Daten visualisieren#
Ein wenig Python…#
Sie können das untenstehende Notebook nachvollziehen oder hier auf GitHub einsehen. Um es auf einem Rechner ohne Jupyter (wie einem RPi) auszuführen, können Sie es mit jupyter nbconvert yournotebook.ipynb --to python in eine Python-Datei umwandeln.
Ein vollwertiges Dashboard#
Um daraus eine Panel-Anwendung zu machen, müssen Sie als letzte Zeile Ihres Jupyter-Notebooks die Methode servable auf einem Panel-Layout aufrufen. Mit dem obigen Beispiel:
layout=pn.panel(room_plots)
layout.servable()Dann rufen Sie im Terminal Ihres RPi (oder eines anderen Servers) auf:
panel serve yournotebook.ipynb --port 8080 --address youraddressWenn Sie es wie eine normale HTTP-Website im lokalen Netzwerk (auf Port 80) erreichbar machen wollen, müssen Sie die Python-3.7-Binärdatei wie folgt binden:
sudo setcap 'cap_net_bind_service=+ep' /usr/bin/python3.7Beachten Sie, dass alle Python-3.7-Anwendungen Zugriff auf Ports unter 1024 erhalten, was als Sicherheitsproblem gewertet werden kann.
Meine vollständige Anwendung finden Sie auf GitHub unter diesem Link. Sie müssen sie natürlich an Ihre Konfiguration anpassen!
Daraus einen Dienst machen#
Sie haben nun eine neue App. Aber Sie möchten, dass sie automatisch startet, ohne dass Passwörter und dergleichen abgefragt werden müssen. Machen Sie daraus also einen Dienst!
Das ist ganz einfach. Zuerst müssen Sie eine Datei im richtigen Ordner anlegen, wie folgt:
>> sudo nano /etc/systemd/system/home_on_bokeh.serviceDescription=Serve panel to access zigbee sensor data
After=multi-user.target
[Service]
Type=simple
ExecStart=/home/pi/.local/bin/panel serve /home/pi/home_on_bokeh/plotting_live_data.py --port 80 --address yourrpiaddress
Restart=on-abort
User=pi
[Install]
WantedBy=multi-user.targetÄndern Sie yourrpiaddress und, falls nötig, --port 80 in einen erreichbaren Port. Nun müssen Sie noch die Broker-Adresse und Authentifizierung sowie die Bokeh-Parameter als Umgebungsvariablen definieren:
>> sudo systemctl edit home_on_bokeh.service [Service]
Environment="MQTT_ADDRESS=localhost"
Environment="MQTT_USER=pi"
Environment="MQTT_PASSWORD=verycomplexpassphrase"
Environment="BOKEH_ALLOW_WS_ORIGIN=raspberrypi.local:80,192.168.10.10:80"Diese Datei ist unter /etc/systemd/system/home_on_bokeh.service.d erreichbar.
Beachten Sie die Variable
BOKEH_ALLOW_WS_ORIGIN: Ohne sie ist Ihre Anwendung nicht erreichbar! Ersetzen Sie die Adresse hier durch Ihre echte Adresse.
Wenn Sie verhindern möchten, dass jemand den Inhalt (mit den Passwörtern!) liest, reichen geänderte Zugriffsrechte nicht aus (siehe diese server fault-Antwort). Jetzt können Sie den Dienst starten:
>> sudo systemctl start home_on_bokehund für den automatischen Start aktivieren:
>> sudo systemctl enable home_on_bokehPrüfen Sie, dass alles gut läuft (kein sudo nötig):
>> systemctl status home_on_bokehUnd werfen Sie einen Blick in die Logs:
>> journalctl -u home_on_bokeh -rSie können nun von jedem Gerät in Ihrem lokalen Netzwerk auf das Dashboard zugreifen!
Das nächste Mal erkläre ich, wie Node-Red zum Aufzeichnen der Daten genutzt wird und wie daraus ein neues Dashboard entsteht (Hinweis: es ist bereits auf GitHub).
Per E-Mail antworten