論文の概要: Bridging Subjective and Objective QoE: Operator-Level Aggregation Using LLM-Based Comment Analysis and Network MOS Comparison
- arxiv url: http://arxiv.org/abs/2506.00924v1
- Date: Sun, 01 Jun 2025 09:31:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:33.793252
- Title: Bridging Subjective and Objective QoE: Operator-Level Aggregation Using LLM-Based Comment Analysis and Network MOS Comparison
- Title(参考訳): ブリッジング主観的および客観的QoE: LLMに基づくコメント分析とネットワークMOS比較を用いた演算子レベルアグリゲーション
- Authors: Parsa Hassani Shariat Panahi, Amir Hossein Jalilvand, M. Hasan Najafi,
- Abstract要約: 本稿では,ネットワーク操作者側品質評価(QoE)のための2層フレームワークを提案する。
目的としては、ITU-T P.1203参照実装を用いて平均世論スコア(MOS)に基づいて学習した機械学習モデルを開発する。
主観的側面では、ユーザコメントをライブストリームから処理し、パフォーマンス関連のフィードバックを抽出するセマンティックフィルタリングとスコアリングパイプラインを提案する。
- 参考スコア(独自算出の注目度): 0.18749305679160366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a dual-layer framework for network operator-side quality of experience (QoE) assessment that integrates both objective network modeling and subjective user perception extracted from live-streaming platforms. On the objective side, we develop a machine learning model trained on mean opinion scores (MOS) computed via the ITU-T P.1203 reference implementation, allowing accurate prediction of user-perceived video quality using only network parameters such as packet loss, delay, jitter, and throughput without reliance on video content or client-side instrumentation. On the subjective side, we present a semantic filtering and scoring pipeline that processes user comments from live streams to extract performance-related feedback. A large language model is used to assign scalar MOS scores to filtered comments in a deterministic and reproducible manner. To support scalable and interpretable analysis, we construct a labeled dataset of 47,894 live-stream comments, of which about 34,000 are identified as QoE-relevant through multi-layer semantic filtering. Each comment is enriched with simulated Internet Service Provider attribution and temporally aligned using synthetic timestamps in 5-min intervals. The resulting dataset enables operator-level aggregation and time-series analysis of user-perceived quality. A delta MOS metric is proposed to measure each Internet service provider's deviation from platform-wide sentiment, allowing detection of localized degradations even in the absence of direct network telemetry. A controlled outage simulation confirms the framework's effectiveness in identifying service disruptions through comment-based trends alone. The system provides each operator with its own subjective MOS and the global platform average per interval, enabling real-time interpretation of performance deviations and comparison with objective network-based QoE estimates.
- Abstract(参考訳): 本稿では,実況ストリーミングプラットフォームから抽出した客観的ネットワークモデリングと主観的ユーザ認識を統合した,ネットワーク操作者側品質評価(QoE)のための二重層フレームワークを提案する。
目的として、ITU-T P.1203参照実装を用いて計算された平均世論スコア(MOS)に基づいてトレーニングされた機械学習モデルを構築し、パケット損失、遅延、ジッタ、スループットなどのネットワークパラメータのみを用いて、ユーザの知覚した映像品質の正確な予測を可能にする。
主観的側面では、ユーザコメントをライブストリームから処理し、パフォーマンス関連のフィードバックを抽出するセマンティックフィルタリングとスコアリングパイプラインを提案する。
大規模な言語モデルを用いて、スカラーMOSスコアを決定論的かつ再現可能な方法でフィルタリングされたコメントに割り当てる。
スケーラブルで解釈可能な分析を支援するために,47,894のライブストリームコメントのラベル付きデータセットを構築し,その内約34,000を多層セマンティックフィルタリングによりQoE関連と同定した。
各コメントには、インターネットサービスプロバイダの属性をシミュレートし、合成タイムスタンプを5分間隔で時間的に調整する。
結果として得られるデータセットは、操作者レベルのアグリゲーションと、ユーザの知覚した品質の時系列分析を可能にする。
ネットワークテレメトリが存在しない場合でも,各インターネットサービスプロバイダのプラットフォーム全体の感情の偏りを計測し,局所的な劣化を検出するためにデルタMOS測定法が提案されている。
制御された停止シミュレーションは、コメントベースのトレンドだけでサービス中断を識別するフレームワークの有効性を確認する。
このシステムは,各演算子に自前の主観的MOSと,時間間隔ごとのグローバルプラットフォーム平均を与え,性能差のリアルタイム解釈と,目的とするネットワークベースのQoE推定との比較を可能にする。
関連論文リスト
- Debugging and Runtime Analysis of Neural Networks with VLMs (A Case Study) [20.420310876464924]
視覚モデルにおける故障局所化のための意味的ヒートマップの有用性を示す。
本稿では,実行時の欠陥を検出しフィルタする軽量なランタイム解析を提案する。
論文 参考訳(メタデータ) (2025-03-21T01:12:57Z) - Joint-Optimized Unsupervised Adversarial Domain Adaptation in Remote Sensing Segmentation with Prompted Foundation Model [32.03242732902217]
本稿では、ソースドメインデータに基づいてトレーニングされたモデルをターゲットドメインサンプルに適用するという課題に対処する。
SAM(Segment Anything Model)とSAM-JOANet(SAM-JOANet)を併用した協調最適化対向ネットワークを提案する。
論文 参考訳(メタデータ) (2024-11-08T02:15:20Z) - Satellite Streaming Video QoE Prediction: A Real-World Subjective Database and Network-Level Prediction Models [59.061552498630874]
LIVE-Viasat Real-World Satellite QoE Databaseを紹介する。
このデータベースは、現実世界のストリーミングサービスから記録された179のビデオで構成されている。
本稿では,QoE予測モデルの有効性を評価することで,この新たな資源の有用性を実証する。
また、ネットワークパラメータを予測された人間の知覚スコアにマッピングする新しいモデルを作成しました。
論文 参考訳(メタデータ) (2024-10-17T18:22:50Z) - End-to-end Evaluation of Practical Video Analytics Systems for Face
Detection and Recognition [9.942007083253479]
ビデオ分析システムは、自動運転車のような帯域制限のある環境にデプロイされる。
エンドツーエンドの顔分析システムでは、HEVCのような一般的なビデオコーデックを使用して入力を最初に圧縮する。
独立したタスク評価,データセットの不均衡,一貫性のないアノテーションが,システムパフォーマンスの誤った推定にどのように寄与するかを実証する。
論文 参考訳(メタデータ) (2023-10-10T19:06:10Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-06-23T17:59:09Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳(メタデータ) (2023-04-04T17:54:32Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T15:22:01Z) - Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features [31.59528815233441]
我々はMOSA-Netと呼ばれるクロスドメイン多目的音声アセスメントモデルを提案し、同時に複数の音声アセスメント指標を推定できる。
実験の結果, 音声品質(PESQ)予測の知覚評価において, MOSA-Net は線形相関係数 (LCC) を 0.026 (0.990 vs 0.964) と 0.012 (0.969 vs 0.957) で改善できることがわかった。
論文 参考訳(メタデータ) (2021-11-03T17:30:43Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T08:52:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。