Firehose: streams en connectoren instellen
Voor het berichtformaat, de installatie-identiteit en de meetvelden zie Payload en schema onder deze Firehose-sectie.
Met Firehose stuur je meetgegevens van je installaties naar een eigen ontvangend systeem. Je vindt Firehose onder Developer wanneer je account toegang tot deze functie heeft.
Een pipeline bepaalt welke installaties gegevens leveren, hoe die worden afgeleverd en waar ze naartoe gaan. Iedere pipeline heeft één bestemming. Wil je gegevens naar twee systemen sturen, maak dan twee pipelines.
De Noorderlicht-voorbeeldconfiguratie bevat een monitoringstream voor Zwolle en een gepauzeerde archiefstream. Hieronder lees je hoe je pipelines instelt voor HTTP, Kafka, AMQP 0.9, AMQP 1.0 en MQTT. De voorbeeldadressen zijn fictief: vervang ze door de gegevens van jouw ontvangende systeem.

Kies een connector
| Connector | Gebruik | Gegevens die je nodig hebt |
|---|---|---|
| HTTP | Meetberichten naar een API sturen. | URL, HTTP-methode, headers en eventuele inloggegevens. |
| Kafka | Meetberichten in een topic publiceren. | Brokeradressen, topic en publicatierechten. |
| AMQP 0.9 | Meetberichten via een exchange naar queues routeren. | Host, exchange, routing key en een passende queue-binding. |
| AMQP 1.0 | Meetberichten naar een AMQP 1.0-bestemming sturen. | Brokerhost, gebruikersnaam, wachtwoord en doeladres. |
| MQTT | Meetberichten publiceren waarop een toepassing zich abonneert. | Brokerhost, topic en eventuele client-ID en inloggegevens. |
Zorg dat het ontvangende systeem klaarstaat voordat je de pipeline aanmaakt. Gebruik de verbindingsgegevens van dat systeem, niet je Watt-inloggegevens.
AMQP 0.9 is standaard geselecteerd bij een nieuwe pipeline. Kies AMQP 1.0 wanneer je ontvangende systeem dat protocol gebruikt. Dit zijn afzonderlijke protocollen: een exchange en routing key uit AMQP 0.9 zijn geen vervanging voor het doeladres van AMQP 1.0.
Maak een pipeline aan
- Open Developer → Firehose en kies Pipeline maken.
- Vul een herkenbare naam in, bijvoorbeeld
Noorderlicht HTTP. - Kies de aflevermodus: Live of Duurzaam.
- Selecteer de installaties waarvan je meetgegevens wilt sturen.
- Kies de connector en vul de bestemmingsvelden in.
- Kies Pipeline opslaan.
- Controleer op de detailpagina de gekoppelde installaties, bestemming en status. Controleer vervolgens of het ontvangende systeem berichten ontvangt.
Gebruik het zoekveld om installaties te vinden. Selecteer zichtbare selecteert de installaties die bij je huidige zoekopdracht horen. Wis verwijdert de selectie. Selecteer minimaal één installatie; het maximum is 10.000. De voorbeeldselectie is Noorderlicht Distributiecentrum — Zwolle.
Krijg je een melding dat niet alle installaties zijn gekoppeld? Open de bestaande pipeline, kies Pipeline bewerken en herstel de selectie. Controleer daarna de installatietabel. Maak geen tweede pipeline om een onvolledige koppeling te herstellen.
Kies de aflevermodus
Live levert berichten af terwijl de pipeline draait. Duurzaam bewaart berichten tot ze zijn afgeleverd. Kies Duurzaam wanneer een tijdelijke onderbreking bij de ontvanger moet worden opgevangen. In de Noorderlicht-voorbeelden staat deze instelling op Duurzaam.
Wil je eerdere metingen downloaden? Gebruik Details en selecteer daar de gewenste periode.
Stel Max in flight in
Max in flight bepaalt hoeveel afleveringen tegelijk kunnen lopen. De standaardwaarde is 64; gebruik een waarde van 1 tot en met 512.
Begin met de standaardwaarde, tenzij je ontvangende systeem een lagere limiet vereist. Meer gelijktijdige afleveringen verhogen de belasting van de ontvanger. Controleer bij een wijziging ook de wachtrij en afleverlatentie. De waarde in het HTTP-voorbeeld is 16.
Stel TLS en de brokerpoort in
Bij Kafka, AMQP 0.9, AMQP 1.0 en MQTT schakel je TLS inschakelen in voor een versleutelde verbinding met de broker. TLS staat bij een nieuwe pipeline standaard uit. Gebruik de instelling die jouw broker vereist; gebruikersnaam en wachtwoord stel je afzonderlijk in.
Vul bij Host een hostnaam in, eventueel gevolgd door :poort. Gebruik geen URL-schema zoals amqps:// of mqtts://, geen pad en geen inloggegevens. Bij Kafka vul je de brokeradressen met hun poort in bij Brokers.
Zonder opgegeven poort gelden deze standaardpoorten:
| Connector | TLS uit | TLS aan |
|---|---|---|
| AMQP 0.9 en AMQP 1.0 | 5672 | 5671 |
| MQTT | 1883 | 8883 |
Een zelf ingevulde poort blijft behouden wanneer je TLS aan- of uitzet. Controleer daarom ook de poort: een broker kan voor TLS een andere poort gebruiken. Neem de juiste combinatie over uit de brokerconfiguratie. Bij Kafka gebruik je de poort van iedere broker; de TLS-keuze wijzigt die adressen niet.
HTTP heeft geen aparte TLS-keuze. Gebruik een URL die met https:// begint voor een versleutelde HTTP-verbinding.
HTTP
Gebruik HTTP om meetberichten naar de monitoring-API van Noorderlicht te sturen.
| Veld | Voorbeeld | Wat je invult |
|---|---|---|
| URL | https://noorderlicht.example.com/measurements | Het volledige ontvangende adres, inclusief pad. |
| Methode | POST | De methode die de API verwacht: POST, PUT of PATCH. |
| User / Password | Leeg in dit voorbeeld | Inloggegevens voor de ontvangende API, wanneer nodig. |
| Max in flight | 16 | Het maximum aantal gelijktijdige afleveringen. |
| Headers | Zie hieronder | Eén header per regel, als Naam: waarde. |
X-Noorderlicht-Source: watt
Content-Type: application/json
Geef iedere header één keer op en gebruik een dubbele punt tussen naam en waarde. Bij een herhaalde naam geldt de laatste waarde. Een regel zonder geldige naam en dubbele punt wordt niet meegestuurd.
Gebruik de headers die je API vereist. Een Content-Type-header beschrijft het berichtformaat; hij verandert de inhoud van het meetbericht niet. Controleer dat de API die inhoud kan verwerken. Houd geheime headerwaarden buiten screenshots en gedeelde documenten.

Kafka
Gebruik Kafka om meetberichten te publiceren in noorderlicht.measurements.
| Veld | Voorbeeld | Wat je instelt |
|---|---|---|
| Brokers | De twee adressen hieronder | Eén brokeradres per regel of kommagescheiden. |
| TLS inschakelen | Uit | Schakel in wanneer de brokers een TLS-verbinding vereisen. Controleer ook hun poorten. |
| Topic | noorderlicht.measurements | Het topic waarin berichten worden gepubliceerd. |
| User / Password | User: noorderlicht-watt | Inloggegevens met publicatierechten voor het topic. |
| Max in flight | 64 | Het maximum aantal gelijktijdige afleveringen. |
| Batching count | 20 | Aantalsdrempel voor een batch: 1–128. Met 0 stel je geen aantalsdrempel in. |
| Batchperiode (ms) | 1000 | Tijdsdrempel voor een batch: 1–5000 milliseconden. Met 0 stel je geen tijdsdrempel in. |
| Custom topic creation | Aan | Gebruik aangepaste aanmaakinstellingen voor een nieuw topic. |
| Topic partitions | 3 | Aantal partities bij aanmaak: 1–64. Met -1 geef je geen eigen aantal op. |
| Replication factor | 3 | Aantal replica's bij aanmaak: 1–7. Met -1 geef je geen eigen aantal op. |
kafka-1.noorderlicht.example.com:9092
kafka-2.noorderlicht.example.com:9092
Batching
Batching bundelt berichten. Met de voorbeeldinstellingen wordt een batch verstuurd bij de aantalsdrempel van 20 of de tijdsdrempel van 1000 ms. De tijdsdrempel voorkomt dat een kleine hoeveelheid berichten op een volle batch blijft wachten. Grotere batches kunnen de verwerking efficiënter maken, maar voegen wachttijd toe.
Topic-aanmaak
Partities verdelen het topic; replica's bepalen hoeveel kopieën het cluster bewaart. Gebruik aantallen die bij de capaciteit en inrichting van je cluster passen. Voor topic-aanmaak heeft het gebruikte account aanmaakrechten nodig. Deze instellingen gelden voor een nieuw topic, niet voor het aanpassen van een bestaand topic.


AMQP 0.9
Gebruik AMQP 0.9 om meetberichten via RabbitMQ naar een ontvangende toepassing te routeren.
| Veld | Voorbeeld | Wat je invult |
|---|---|---|
| Host | rabbitmq.noorderlicht.example.com:5672 | Eén hostnaam met poort. |
| TLS inschakelen | Uit | Dit voorbeeld gebruikt een verbinding zonder TLS op poort 5672. |
| User / Password | User: noorderlicht-watt | Inloggegevens met publicatierechten voor de exchange. |
| Exchange | noorderlicht.telemetry | De exchange waarnaar je publiceert. |
| Routing key | measurements.zwolle | De sleutel waarmee de exchange berichten naar de passende queue routeert. |
| Max in flight | 64 | Het maximum aantal gelijktijdige afleveringen. |
Zorg dat de exchange bestaat en dat de ontvangende queue eraan is gekoppeld met een binding die bij de routing key past. De exchange ontvangt berichten; de toepassing leest ze uit de queue. Zonder passende binding bereiken de berichten de bedoelde queue niet.

AMQP 1.0
Gebruik AMQP 1.0 om meetberichten van Zwolle naar een AMQP 1.0-broker te sturen. Zorg dat de bestemming bestaat, dat je account er berichten naartoe mag sturen en dat je ontvangende toepassing de berichten kan lezen.
| Veld | Voorbeeld | Wat je invult |
|---|---|---|
| Host | broker.noorderlicht.example.com | De brokerhost, eventueel met :poort. Vul geen URL-schema, pad of inloggegevens in. |
| TLS inschakelen | Aan | Dit voorbeeld gebruikt TLS. Zonder opgegeven poort wordt 5671 gebruikt. |
| User | noorderlicht-watt | De verplichte gebruikersnaam voor de broker, met verzendrechten voor het doeladres. |
| Password | Je brokerwachtwoord | Verplicht bij aanmaken. Vul het wachtwoord in het aparte wachtwoordveld in; gebruik niet je Watt-wachtwoord. |
| Doeladres | queue:/noorderlicht.telemetry | Het adres van de bestemming, in het formaat dat jouw broker verwacht. |
| Max in flight | 64 | Een geheel getal van 1 tot en met 512. De standaardwaarde is 64. |
Kies het juiste doeladres
Het doeladres is niet hetzelfde als de host. Host bepaalt met welke broker de pipeline verbinding maakt; Doeladres bepaalt waar die broker de meetberichten ontvangt. Gebruik het adres dat voor je bestemming is geconfigureerd:
- Een broker kan bijvoorbeeld
/noorderlicht.telemetryverwachten. - Bij een broker met queue-/topicadressen kan dit
queue:/noorderlicht.telemetryoftopic:/noorderlicht.telemetryzijn. - Voor een Azure Service Bus-bestemming gebruik je de entiteitsnaam, bijvoorbeeld
noorderlicht-telemetry.
Deze vormen zijn niet onderling uitwisselbaar. Neem het exacte adres over uit de configuratie van je ontvangende systeem. Vul hier geen HTTP-URL, exchange of routing key in. Vul een pad uitsluitend bij Doeladres in, niet bij Host.
Maak de AMQP 1.0-pipeline aan
- Kies Pipeline maken, vul
Noorderlicht AMQP 1.0in en selecteer Zwolle. - Kies de gewenste aflevermodus en selecteer AMQP 1.0.
- Vul Host, User, Password en Doeladres in. Schakel voor dit voorbeeld TLS inschakelen in. Laat Max in flight op
64staan, tenzij je ontvanger een lagere limiet nodig heeft. - Kies Pipeline opslaan.
- Controleer op de detailpagina het protocol, de verbinding en het doeladres. Controleer vervolgens of de ontvangende toepassing de meetberichten van Zwolle ontvangt.

Wijzig het wachtwoord of het protocol
Opgeslagen wachtwoorden worden niet teruggegeven. Bewerk je een bestaande AMQP 1.0-pipeline, dan mag Password leeg blijven om het opgeslagen wachtwoord te behouden. Vul een nieuw wachtwoord in om het te vervangen. Een leeg veld verwijdert het opgeslagen wachtwoord niet.
Wissel je van HTTP, Kafka, AMQP 0.9 of MQTT naar AMQP 1.0, vul dan altijd de nieuwe brokergegevens én het wachtwoord in. Het wachtwoord van de oude connector wordt niet als AMQP 1.0-wachtwoord overgenomen. Controleer vóór opslaan ook het doeladres en de ontvangstrechten. Controleer na opslaan de verbinding en de ontvangen berichten.
MQTT
Gebruik MQTT om meetberichten op een topic te publiceren. De ontvangende toepassing moet zich op dat topic abonneren.
| Veld | Voorbeeld | Wat je invult |
|---|---|---|
| Host | mqtt.noorderlicht.example.com:1883 | Eén brokerhost met poort. |
| TLS inschakelen | Uit | Dit voorbeeld gebruikt een verbinding zonder TLS op poort 1883. |
| Topic | noorderlicht/zwolle/measurements | Het topic voor meetberichten. |
| User / Password | Leeg in dit voorbeeld | Inloggegevens voor de broker, wanneer nodig. |
| Client ID | noorderlicht-watt-zwolle | Een unieke clientidentiteit voor deze verbinding. |
| Max in flight | 64 | Het maximum aantal gelijktijdige afleveringen. |
Gebruik niet dezelfde client-ID voor verschillende gelijktijdige verbindingen. Controleer ook dat de ontvanger het juiste topic volgt en daarop mag lezen.
Last will
Een last will is een statusbericht dat de broker publiceert bij onverwacht verbindingsverlies. Schakel Last will enabled in om dit bericht in te stellen.
| Veld | Voorbeeld | Betekenis |
|---|---|---|
| Last will topic | noorderlicht/zwolle/status | Het topic waarop de statusmelding verschijnt. |
| Last will payload | offline | De inhoud van de statusmelding. |
| QoS | 1 | 0: maximaal één aflevering. 1: minimaal één aflevering; duplicaten zijn mogelijk. Dit geldt voor de last will. |
| Last will retained | Aan | De broker bewaart de laatste statusmelding voor nieuwe abonnees. |
Gebruik een apart statustopic, zodat de ontvanger statusmeldingen kan onderscheiden van metingen. Een retained melding kan ouder zijn dan de nieuwe abonnementssessie. Een gewone pauze is niet hetzelfde als onverwacht verbindingsverlies.


Bewerk een pipeline
- Open de pipeline en kies Pipeline bewerken.
- Pas de naam, aflevermodus, installatiekoppelingen of bestemming aan. Bij een brokerconnector kun je ook TLS inschakelen aan- of uitzetten. Controleer daarbij de brokerpoort.
- Controleer alle connectorvelden. Opgeslagen wachtwoorden worden niet getoond. Bij een bestaande AMQP 1.0-pipeline mag je het wachtwoordveld leeg laten om het opgeslagen wachtwoord te behouden; bij wisselen naar AMQP 1.0 is een wachtwoord verplicht.
- Kies Pipeline opslaan.
- Controleer de detailpagina en de ontvangst in je eigen systeem.
Maak optionele velden alleen leeg als je die instellingen wilt verwijderen. Dat geldt bijvoorbeeld voor headers en username. Controleer bij een protocolwissel de volledige nieuwe bestemming.
Wijzig bijvoorbeeld het HTTP-pad naar /measurements/v2. Controleer na het opslaan of het endpoint de nieuwe waarde bevat.


Pauzeer, hervat of verwijder een pipeline
Kies Pauzeren om de pipeline te pauzeren en Doorgaan om haar te hervatten. Controleer daarna de status. Gegevens die al bij de ontvanger staan, blijven daar staan.
Kies Pipeline verwijderen om de pipeline te verwijderen. Controleer de naam in het bevestigingsvenster voordat je bevestigt. Verwijderen wist geen eerder ontvangen gegevens uit je eigen systeem.


Controleer aflevering en los problemen op
De detailpagina onderscheidt de pipeline-status van de status van de uitgaande verbinding. Controleer beide. Gebruik daarnaast de statistieken:
| Statistiek | Betekenis | Waar je op let |
|---|---|---|
| Berichten per minuut | Verzendtempo sinds je de detailpagina hebt geopend. | De eerste waarde kan 0 zijn. Wacht op volgende updates voordat je conclusies trekt. |
| Afleverlatentie (p50) | De middelste afleverlatentie: de helft van de gemeten afleveringen duurt niet langer. | Een oplopende waarde wijst op tragere aflevering; dit is niet de totale verwerkingstijd in je toepassing. |
| Wachtrij | Berichten die nog op aflevering wachten. | Een blijvend oplopende wachtrij vraagt om controle van verbinding en ontvangercapaciteit. |
De statistieken worden ongeveer iedere twee seconden bijgewerkt. Ontbrekende statistieken zijn geen nulmetingen.
| Probleem | Controle en vervolgstap |
|---|---|
| Geen berichten | Controleer of de pipeline actief is en de bedoelde installatie gekoppeld en ingeschakeld is. Controleer vervolgens de uitgaande verbinding. |
| Verbindingsfout | Lees de foutmelding en controleer host/URL, poort, TLS-keuze en bestemmingsinloggegevens. Neem de TLS-keuze en poort over uit de brokerconfiguratie. |
| HTTP ontvangt niets | Controleer URL-pad, methode, headers en of de API het berichtformaat accepteert. |
| Kafka ontvangt niets | Controleer brokeradressen, topic en publicatierechten. Controleer bij een nieuw topic ook aanmaakrechten. |
| AMQP 0.9-queue blijft leeg | Controleer exchange, routing key en de binding van de ontvangende queue. |
| AMQP 1.0 ontvangt niets | Controleer of de broker AMQP 1.0 accepteert, de host/poort en TLS-keuze kloppen en het doeladres exact overeenkomt met de brokerconfiguratie. Controleer verzendrechten en of de toepassing de juiste bestemming leest. |
| AMQP 1.0 kan niet opslaan | Vul host, gebruikersnaam en doeladres in. Vul bij aanmaken of protocolwissel ook een wachtwoord in. Gebruik voor Max in flight een geheel getal van 1 tot en met 512. |
| MQTT-abonnee ontvangt niets | Controleer broker, topic, lees-/schrijfrechten en een unieke client-ID. |
| Wachtrij groeit | Controleer fouten, latency en belasting van de ontvanger. Pas Max in flight alleen aan wanneer de ontvanger de extra gelijktijdigheid aankan. |
| Installaties ontbreken | Bewerk de bestaande pipeline, herstel de selectie en controleer de detailtabel na opslaan. |
Controleer na iedere correctie de status, de volgende statistiekupdates en de daadwerkelijk ontvangen berichten. Zo controleer je de hele verbinding, van installatiekoppeling tot je ontvangende toepassing.