Paradigmen für QoE-Tests für Medien-Streaming-Plattformen: Ist Automatisierung Ihre Antwort?

In einem früheren Blog habe ich darüber gesprochen, wie sich die Paradigmen der Erlebnisqualität (Quality of Experience, QoE), insbesondere im Bereich Testen und Validierung, entwickeln und die OTT-Medienlandschaft (Over the Top) verändern. Mit Funktionen wie der Verfügbarkeit von On-Demand- und benutzerdefinierten Inhalten, der Möglichkeit des Abrufs auf mehreren Geräten und einer überragenden Qualität, die das Ökosystem vorantreibt, definiert und umgestaltet, ist es keine Überraschung, dass die OTT-Revolution, angetrieben durch QoE, in den kommenden Tagen nur noch stärker werden wird.

Lassen Sie uns ein wenig tiefer in die Details von QoE und deren Prüfung eintauchen, um die Rolle und den Einfluss auf den Erfolg globaler Media-Streaming-Plattformen zu verstehen.

QoE wird hauptsächlich von vier Workflows beeinflusst:

• Player-Workflows: Wo neue Anwendungsfunktionen hinzugefügt oder aktualisiert werden, neue SDKs integriert werden usw.
• Inhalts-Workflows: Hier werden die Mezzanine-Videos transkodiert, verschlüsselt, verpackt und an das CDN übertragen
• Codierungsprofil-Workflows: Hier gibt es mehrere Unteränderungen und Optimierungen im Transcoding-Abschnitt des Content-Workflows
• Infra-Workflows: Hier werden verschiedene andere Systeme des OTT-Anwendungs-Backends wie DRM, Protokolle, Wasserzeichen und CMS aktualisiert

Der QoE-Qualitäts-Workflow

Diese Schlüsselkomponenten des OTT-Ökosystems erfordern umfangreiche Tests in der Vorproduktionsumgebung. Sobald die Anwendung in die Produktions-/Kundenphase überführt wird, erfasst ein Player Beacon die Kunden-QoE und erstellt einen Bericht darüber.

Da jede getestete QoE-Einheit eine Kombination aus verschiedenen Teilen des OTT-Ökosystems ist, ist es wichtig, sie systematisch und organisiert zu testen - mit einem klaren Verständnis des Zuschauer-Ökosystems und der erwarteten Nutzungsmuster.

Endgerätetests sind der beste Weg, um die QoE einer Medien-Streaming-Plattform zu ermitteln.Ein QoE-Test fällt unter dieNFR-Kategorie, die im Vergleich zu funktionalen Tests in wesentlich geringerem Umfang durchgeführt wird.

Auch QoE-Tests werden heute meist manuell oder bestenfalls halbautomatisch durchgeführt, was zu einem erheblichen Zeit- und Investitionsaufwand führt, um die erwarteten Parameter sicherzustellen und zu erfüllen. Da die Nachfragemuster der Zuschauer weiterhin sehr dynamisch sind, besteht die dringende Notwendigkeit, diese Zykluszeiten zu optimieren, um bessere Ergebnisse zu erzielen.

Das Szenario wird zusätzlich durch die Tatsache erschwert, dass manuelle (oder halbautomatische) QoE-Tests nicht immer dazu beitragen, die richtigen Korrelationen aufzudecken, einschließlich so wichtiger Aspekte wie Startzeit, Pufferung über Bandbreitenströme hinweg, ABR-Leistung und die Auswirkungen anderer infrastruktureller Veränderungen.

Wir müssen daher die Änderungen vergleichen und die Entwicklung neuer Streaming-Optimierungshebel vorantreiben, um die bestehenden Paradigmen für QoE-Tests neu zu definieren.

Einstieg in die Automatisierung.

Die Automatisierung von QoE-Tests ist zwar wesentlich komplexer als die normale funktionale Automatisierung, da die Kits eine ganz andere Logik und einen anderen Denkprozess erfordern, doch ist dies kein unerreichbares Ziel. Die Reise besteht zunächst aus verschiedenen funktionalen Automatisierungsskripten und Logiken, wenn wir eine Anwendung automatisieren und durch ihren EPG zu den Wiedergabeszenarien navigieren.

Entscheidend ist hier die Notwendigkeit, die APIs und Skripte zu entwerfen, die in der Lage sind, die QoE-KPIs für das Streaming von der Einleitung der Videowiedergabe zu erfüllen. Die Anforderung besteht darin, sich auf die richtige Verwendung von Automatisierungsskripttechniken und eine fähige Skripterstellung von APIs zu konzentrieren, die innerhalb des gewünschten Automatisierungstools oder Frameworks bereitgestellt werden.

Wir müssen bedenken, dass die normalen NFR- und Leistungsmessungs-APIs oder -Techniken in automatisierten Testszenarien möglicherweise nicht direkt verwendbar sind. Außerdem müssen die KPIs zusammen mit einer Reihe anderer Parameter gemessen werden, die den Zustand des Systems zum Zeitpunkt der Messung definieren. Ein Beispiel hierfür ist die Messung des Pufferungsverhältnisses bei unterschiedlichen Wi-Fi-Signalstärken (die am Endgerät empfangen werden).

Unser Ziel ist es, uns nicht nur auf die Ergebnisse der QoE-APIs zu verlassen, sondern die richtigen Metadaten und Umgebungsbedingungen zu aggregieren und zu vergleichen, um aussagekräftige Erkenntnisse zu gewinnen, wobei die Präsentationsebene dieser Test- und Benchmark-Daten wichtig wird. Ein gutes QoE-Testsystem stellt daher nicht nur die APIs oder Funktionen zur Messung der relevanten KPIs bereit, sondern ist auch in der Lage, das Netzwerk zu manipulieren und Netzwerkanfragen, Anwendungs- oder Playerprotokolle, Geräteprotokolle usw. zu sammeln.

Eine solche automatisierte Lösung sollte in der Lage sein, automatisch nach allen Datenpunkten zu suchen, die für eine Triage und die Entscheidung über Verbesserungsmaßnahmen erforderlich sind. Diese Fähigkeit ist eine klare Trennlinie zwischen QoE-Tools, die für bestimmte Zwecke entwickelt wurden, und NFR-fähigen Testautomatisierungs-Tools.

• Messung der KPIs in Intervallen von 20 Millisekunden oder mit Genauigkeit auf Frame-Ebene
• Leistungsintensive GPU-basierte Verarbeitung
• Zusammenführung aller relevanten Metadaten zur Korrelation und Generierung aussagekräftiger Erkenntnisse
• Ansatz zur zuverlässigen Manipulation von Netzwerkmodellen
• Verfügbarkeit eines anwendbaren Satzes von Netzwerkmodellen oder Vorlagen, die für QoE-Tests verwendet werden können

Abgesehen von den Herausforderungen und Hindernissen gehört die Zukunft eindeutig einer erneuten Konzentration auf die Sicherstellung und Bereitstellung einer erstklassigen QoE, die dazu beitragen würde, die angestrebte Streaming-Plattform von ihren Konkurrenten und Wettbewerbern zu unterscheiden. Der Weg in die Zukunft führt über automatisierte Tests, die auf der Grundlage eines umfassenden Fachwissens im Bereich Digital Engineering durchgeführt werden.

1.Ein QoE-Test wird über einen CI-Trigger, einen Zeitplan oder eine manuelle Ausführung gestartet

2.QoE Test Manager startet den Test auf einem bestimmten Gerät

3.QoE Test Lösung automatisiert die App in einen spielbereiten Zustand

4.Die Kogmation ist unabhängig vom Player und simuliert, was der Kunde sehen würde

5.Ein gemeinsames Testmuster beansprucht den Player in einer Reihe von wahrscheinlichen Szenarien

6.Ein Netzwerk-Proxy steuert den angezeigten Stream, die Bandbreite, mit der er angezeigt wird, und zeichnet die ausgetauschten Daten auf

7.Asset-Wiedergabedurchläufe, die eine Reihe von Stop-Start-Ereignissen und Werbung enthalten

8.Die speziell entwickelte QoE-Metriken-Erfassungs-API erfasst die wichtigsten Facetten der QoE

9. Erfasste QoE-KPIs werden mit relevanten Metadaten gemeldet

10.die von der Videoanalyse gemeldeten Werte werden validiert

11.Die Ergebnisse werden in einem Bericht dargestellt und gegebenenfalls als bestanden/nicht bestanden an die aufrufende CI-Pipeline zurückgegeben