Oorspronkelijk gepubliceerd in Water Matters, uitgave december 2023
Continue gegevens over de waterkwaliteit leveren veel nuttige informatie op.
Waterkwaliteitsbeheerders maken daarom steeds vaker gebruik van sensortechnologie en auto-analysers. Door fouten in metingen zijn de ruwe data van waterkwaliteitssensoren echter niet direct bruikbaar voor visualisatie en interpretatie. In dit artikel leggen we de stand van zaken uit, als eerste stap richting standaardisatie van dataverwerking van waterkwaliteitssensoren.
Waterschappen en waterschapslaboratoria investeren steeds meer in de toepassing van waterkwaliteitssensoren in oppervlaktewater. Zo beheert waterschapslaboratorium AQUON momenteel zo’n 200 waterkwaliteitssensoren. Tegenwoordig kunnen ze niet alleen standaardparameters zoals pH, elektrische geleidbaarheid, zuurstof en temperatuur meten, maar bijvoorbeeld ook de concentraties van voedingsstoffen. Al deze continue en real-time metingen leveren veel waardevolle informatie op, bijvoorbeeld over drainage, de dynamische invloed van effluent en overstorten van rioolwaterzuiveringsinstallaties, transportprocessen van nutriënten of operationeel waterbeheer (bijvoorbeeld de beslissing om water te laten in of behoudens op basis van zoutconcentraties).
Schaalvergroting en betrouwbaarheid
Door de gevoeligheid van de technologie en de wisselende omstandigheden in het veld zitten er vaak onregelmatigheden in de sensordata. De ruwe data zijn daardoor niet direct bruikbaar voor visualisatie en interpretatie. Door de schaalvergroting in het gebruik van waterkwaliteitssensoren is het handmatig controleren en corrigeren van de gegevens echter vaak veel werk. Afhankelijk van het beoogde gebruik van de gegevens zijn daarom gestandaardiseerde gegevensverwerkingsmethoden wenselijk (tabel 1). Het doel van dit onderzoek was om standaard optimalisatieroutines voor hoogfrequente waterkwaliteitsgegevens samen te brengen en deze via een wiki-site beschikbaar te stellen aan gebruikers van waterkwaliteitssensoren (onderzoekers en waterbeheerders).
Tabel 1: Doelstellingen van data-optimalisatie en de bijbehorende methoden
| Doel van data-optimalisatie | Achtergrond | Methoden |
|---|---|---|
| Sensorbeheer en onderhoud / vroegtijdige waarschuwing | Realtime detectie van afwijkende meetwaarden voor snelle reactie van monteurs en/of onderhoudspersoneel | Afwijkingsdetectiemethoden, detectie van vlakke lijnen (altijd dezelfde meetwaarde) |
| Online presentatie van live metingen | Realtime controle en filters voor een uitgebreide presentatie voor belanghebbenden | Ruisfilters voor afwijkingsdetectie |
| Retrospectieve correctie van series | Het samenstellen van optimale series, ook met conventionele laagfrequente metingen voor bijvoorbeeld ladingsberekeningen | Methoden voor het detecteren van afwijkingen, ruisfilters, correctie voor drift en sprongen in de gegevens, het opvullen van gaten in de reeks |
Aanpak
Via interviews en literatuuronderzoek hebben we in kaart gebracht welke afwijkingen veel voorkomen en welke correctiemethoden al publiekelijk beschikbaar zijn. Op andere gebieden zijn veel methoden ontwikkeld. We hebben ze meegenomen in onze zoektocht als ze al waren toegepast op sensordata voor waterkwaliteit. Voor de verschillende soorten afwijkingen in sensordata hebben we optimalisatieroutines gemaakt, inclusief de R-scripts en voorbeeldapplicaties, en deze beschikbaar gesteld via de wikisite [1]. De daarin opgenomen routines zijn deels (combinaties van) methoden die al beschikbaar zijn, maar we hebben nieuwe methoden ontwikkeld voor bijvoorbeeld het corrigeren van drift op basis van laboratoriummetingen en voor het opvullen van lacunes in meetreeksen.
