streamstats.io: Datenpipeline für 50.000+ Streaming-Kanäle, alle fünf Minuten

Twitch, Kick und YouTube zeigen jeweils nur den aktuellen Moment: Wer streamt gerade, wie viele schauen zu. Historische Entwicklungen, plattformübergreifende Vergleiche oder Rankings nach Hours Watched gibt es nicht. Wer sie will, muss die Daten selbst kontinuierlich erfassen und aufbewahren.

Die Herausforderung ist weniger die einzelne Abfrage als der Betrieb: Zehntausende Kanäle müssen alle fünf Minuten zuverlässig abgefragt werden, innerhalb der Ratenlimits, mit sauberer Fehlerbehandlung, ohne dass jemand nachts aufsteht.

streamstats.io besteht aus zwei Teilen:

• Datenpipeline: Zeitgesteuerte Worker fragen die offiziellen APIs der drei Plattformen ab, respektieren deren Ratenlimits, erkennen Stream-Starts und -Enden und schreiben Zuschauerzahlen, Follower und Kategorien als Zeitreihe in PostgreSQL. Ausfälle einzelner Abfragen werden protokolliert und nachgeholt.
• Aggregation und Auslieferung: Aus den Rohdaten werden Hours Watched, Durchschnitts- und Spitzenwerte, Rankings pro Plattform, Kategorie-Auswertungen und Follower-Wachstum berechnet und in einer Weboberfläche mit Suche, Vergleich und Detailseiten dargestellt.

• Zuverlässige Datenerfassung aus externen Quellen im Dauerbetrieb, mit Monitoring statt Hoffnung.
• Zusammenführung mehrerer Systeme mit unterschiedlichen Datenformaten in ein einheitliches Modell.
• Auswertungen und Dashboards, die aus Rohdaten Entscheidungsgrundlagen machen.
• Dasselbe Muster funktioniert für Preisüberwachung, Lagerbestände, Sensordaten oder Kennzahlen aus verteilten Filialsystemen.