メディアストリーミングプラットフォームのQoEテストパラダイム：自動化が答えか

前回のブログでは、進化するQoE（Quality of Experience）パラダイム、特にテストと検証が、OTT（Over the Top）メディアの展望をどのように変容させているかについてお話しました。オンデマンドやカスタマイズされたコンテンツの利用可能性、マルチデバイス視聴機能、優れた品質といった機能がエコシステムの推進、定義、再構築に役立っており、QoEを原動力とするOTT革命が今後ますます強力になるのは当然のことです。

QoEとそのテストの詳細を少し掘り下げて、グローバルなメディア・ストリーミング・プラットフォームの成功におけるその役割と影響を理解しよう。

QoEは主に4つのワークフローに影響される：

• プレーヤーのワークフロー：新しいアプリケーション機能の追加や更新、新しいSDKの統合など。
• コンテンツワークフロー：メザニンビデオのトランスコード、暗号化、パッケージ化、CDNへのプッシュ。
• エンコーディングプロファイルワークフロー：コンテンツワークフローのトランスコーディングセクションに複数のサブ変更と最適化がある場合。
• インフラワークフロー：DRM、プロトコル、電子透かし、CMSなど、OTTアプリケーションのバックエンドの他の様々なシステムが更新される。

QoE品質ワークフロー

OTTエコシステムのこれらの主要コンポーネントは、プリプロダクション環境での広範なテストを必要とします。そして、アプリケーションが本番/顧客の段階にリリース（またはプッシュ）されると、プレーヤービーコンが顧客のQoEをキャプチャしてレポートし、この重要な指標とストリーミングプラットフォームの成功の間に直接的な相関関係を確立します。

ここで忘れてはならないのは、テストされるQoEエンティティは、OTTエコシステムのさまざまな部分の組み合わせであるため、視聴者のエコシステムと予想される使用パターンを明確に理解した上で、体系的かつ組織的にテストすることが重要であるということです。

エンドデバイスのテストは、メディアストリーミングプラットフォームのQoEを特定する最良の方法である。QoEテストはNFRの カテゴリーに属し、機能テストに比べてかなり少ない設備で実施される。

繰り返しになるが、今日のQoEテストはほとんどが手動または（せいぜい）半自動であり、その結果、期待されるパラメータを確保し、提供するためにかなりの時間と投資が必要になる。視聴者の要求パターンが著しくダイナミックに変化し続ける中、これらのサイクルタイムを最適化し、より高い成果を確保することが急務となっている。

このシナリオは、手動（または半自動）のQoEテストでは、起動時間、帯域幅ストリーム間のバッファリング、ABRパフォーマンス、その他のインフラ変更の影響などの重要な側面を含め、必要とされる適切な相関関係を明らかにするのに役立つとは限らないという事実によって、さらに複雑になっています。

そのため、変化を比較対照し、既存のQoEテストパラダイムを再定義するための新しいストリーミング最適化レバーの開発を推進する必要があります。

自動化の導入

QoEテストの自動化は、全く異なるロジックと思考プロセスを必要とするため、通常の機能的自動化よりもかなり複雑で あるが 、達成不可能な目標ではない。アプリケーションを自動化し、その EPG を通して再生シナリオにナビゲートする場合、最初は様々な機能自動化スクリプトとロジッ クで構成される。

ここで重要なのは、ビデオ再生の開始からQoE KPIをストリーミングできるAPIとスクリプトを設計することである。要件は、自動化スクリプト技術の正しい使用法と、希望する自動化ツールまたはフレームワーク内で提供されるAPIの有能なスクリプティングに焦点を当てることである。

通常の NFR やパフォーマンス測定 API やテクニックは、自動テストシナリオでは直接使用できない可能性があることを忘れてはならない。そしてさらに、KPI は、測定が行われたときのシステムの状態を定義する他のパラメータのセットとともに測定されなければならない。変化するWi-Fi信号強度レベル（エンド・デバイスで受信）に対するバッファリング比率の測定は、思い浮かぶ一例である。

私たちの目標は、QoE APIからのリターンに依存するだけでなく、適切なメタデータと環境条件を集約して比較し、これらのテストとベンチマークデータのプレゼンテーション層が重要になる有意義な洞察を導き出すことです。したがって、優れたQoEテストシステムは、関連するKPIを測定するAPIや機能を提供するだけでなく、ネットワーク操作、ネットワークリクエストの収集、アプリケーションやプレーヤーのログ、デバイスのログなどの機能も備えている。

このような自動化されたソリューションは、トリアージに必要な全てのデータポイントを自動的に検索し、改善のために取るべきアクションを決定することができなければならない。この機能は、目的のために構築されたQoEツールとNFR対応のテスト自動化ツールの間の明確な境界線である。

• 20ミリ秒間隔またはフレームレベルの精度でKPIを測定
• 電力集約的なGPUベースの処理
• 関連するすべてのメタデータをまとめ、関連付け、意味のある洞察を生成
• ネットワークモデルを確実に操作するアプローチ
• QoEテストに適用可能なネットワークモデルまたはテンプレートの利用可能性

課題や障害はさておき、将来は明らかに、クラス最高のQoEを確保し、提供することに改めて焦点を当てることになる。そして、深いデジタル・エンジニアリングの専門知識を駆使した自動テストが、前進の道である。

1.QoE テストは、CIトリガー、スケジュール、または手動実行から開始されます。

2.QoE テストマネージャーは、特定のデバイス上でテストを開始します。

3.QoE テストソリューションは、アプリを再生可能な状態に自動化します。

4.コグメーションはプレーヤーに依存せず、顧客が見るであろうものをシミュレートする

5.共通のテストパターンが、想定されるシナリオの範囲にわたってプレーヤーにストレスを与える

6.ネットワーク・プロキシが、表示されるストリーム、表示される帯域幅を制御し、交換されるデータを記録します。

7.アセット・プレイバックが実行され、ストップ・スタート・イベントや広告が多数含まれる。

8.特別に開発された QoE メトリクス・キャプチャAPIは、 QoEの 主要な側面をキャプチャします 。

9. キャプチャされた QoE KPIは、関連するメタデータとともにレポートされます 。

10.ビデオ分析で報告された値が検証されます

11.結果はレポートに表示され、必要に応じて合格/不合格として呼び出し元のCIパイプラインに返される