論文の概要: A Deep Learning based No-reference Quality Assessment Model for UGC Videos

• arxiv url: http://arxiv.org/abs/2204.14047v1
• Date: Fri, 29 Apr 2022 12:45:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 15:06:01.128881
• Title: A Deep Learning based No-reference Quality Assessment Model for UGC Videos
• Title（参考訳）: 深層学習に基づくUGCビデオの非参照品質評価モデル
• Authors: Wei Sun, Xiongkuo Min, Wei Lu, Guangtao Zhai
• Abstract要約: 従来のビデオ品質評価(VQA)研究では、画像認識モデルまたは画像品質評価(IQA)モデルを使用して、品質回帰のためのビデオのフレームレベルの特徴を抽出している。 ビデオフレームの生画素から高品質な空間特徴表現を学習するために,エンドツーエンドの空間特徴抽出ネットワークを訓練する,非常に単純で効果的なVQAモデルを提案する。 より優れた品質認識機能により、単純な多層認識層(MLP)ネットワークのみを用いてチャンクレベルの品質スコアに回帰し、時間平均プーリング戦略を採用してビデオを得る。
• 参考スコア（独自算出の注目度）: 44.00578772367465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quality assessment for User Generated Content (UGC) videos plays an important role in ensuring the viewing experience of end-users. Previous UGC video quality assessment (VQA) studies either use the image recognition model or the image quality assessment (IQA) models to extract frame-level features of UGC videos for quality regression, which are regarded as the sub-optimal solutions because of the domain shifts between these tasks and the UGC VQA task. In this paper, we propose a very simple but effective UGC VQA model, which tries to address this problem by training an end-to-end spatial feature extraction network to directly learn the quality-aware spatial feature representation from raw pixels of the video frames. We also extract the motion features to measure the temporal-related distortions that the spatial features cannot model. The proposed model utilizes very sparse frames to extract spatial features and dense frames (i.e. the video chunk) with a very low spatial resolution to extract motion features, which thereby has low computational complexity. With the better quality-aware features, we only use the simple multilayer perception layer (MLP) network to regress them into the chunk-level quality scores, and then the temporal average pooling strategy is adopted to obtain the video-level quality score. We further introduce a multi-scale quality fusion strategy to solve the problem of VQA across different spatial resolutions, where the multi-scale weights are obtained from the contrast sensitivity function of the human visual system. The experimental results show that the proposed model achieves the best performance on five popular UGC VQA databases, which demonstrates the effectiveness of the proposed model. The code will be publicly available.
• Abstract（参考訳）: ユーザ生成コンテンツ(UGC)ビデオの品質評価は、エンドユーザの視聴体験を確保する上で重要な役割を果たす。 以前のUGCビデオ品質評価(VQA)研究では、画像認識モデルまたは画像品質評価(IQA)モデルを使用して、品質回帰のためのUGCビデオのフレームレベルの特徴を抽出した。 本稿では,映像フレームの生画素から高品質な空間特徴表現を直接学習するために,エンドツーエンドの空間特徴抽出ネットワークを訓練することにより,この問題に対処する,非常にシンプルで効果的なUGC VQAモデルを提案する。 また,空間的特徴がモデル化できない時間的歪みを測定するために,運動特徴を抽出する。 提案モデルでは,空間的特徴と密集したフレーム(ビデオチャンク)を,非常に低い空間分解能で抽出し,動作特徴を抽出し,計算複雑性を低減した。 より優れた品質認識機能では、単純な多層認識層(MLP)ネットワークのみを用いてチャンクレベルの品質スコアに回帰し、時間平均プーリング戦略を採用してビデオレベルの品質スコアを得る。 さらに,空間分解能の異なるVQAの問題を解決するために,人間の視覚システムのコントラスト感度関数から,マルチスケールの重みを求めるマルチスケールな品質融合戦略を導入する。 実験の結果,提案モデルは5つのUGC VQAデータベース上で最高の性能を示し,提案モデルの有効性を示した。 コードは公開される予定だ。

関連論文リスト

• ReLaX-VQA: Residual Fragment and Layer Stack Extraction for Enhancing Video Quality Assessment [35.00766551093652]
  本稿では, NR-VQA(No-Reference Video Quality Assessment)モデルであるReLaX-VQAを提案する。 ReLaX-VQAは、残留フレームと光学フローの断片と、サンプルフレームの空間的特徴の異なる表現を用いて、動きと空間的知覚を高める。 我々は、NR-VQAのさらなる研究と応用を促進するために、コードをオープンソース化し、訓練されたモデルを公開します。
  論文  参考訳（メタデータ） (2024-07-16T08:33:55Z)
• CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
  VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。 提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
  論文  参考訳（メタデータ） (2024-07-06T02:32:28Z)
• Enhancing Blind Video Quality Assessment with Rich Quality-aware Features [79.18772373737724]
  ソーシャルメディアビデオの視覚的品質評価(BVQA)モデルを改善するための,シンプルだが効果的な手法を提案する。 本稿では,BIQAモデルとBVQAモデルを用いて,事前学習したブラインド画像品質評価(BIQA)から,リッチな品質認識機能について検討する。 実験により,提案モデルが3つのソーシャルメディアVQAデータセット上で最高の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-14T16:32:11Z)
• Neighbourhood Representative Sampling for Efficient End-to-end Video Quality Assessment [60.57703721744873]
  リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。 フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2022-10-11T11:38:07Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos [34.761412637585266]
  フレームワークは、機能抽出モジュール、品質回帰モジュール、品質プーリングモジュールの3つのモジュールで構成されている。 特徴抽出モジュールでは、畳み込みニューラルネットワーク(CNN)ネットワークの中間層から特徴を最終品質認識表現に融合する。 品質回帰モジュールでは、完全連結(FC)層を用いて品質認識機能をフレームレベルスコアに回帰する。
  論文  参考訳（メタデータ） (2021-06-02T12:23:16Z)
• RAPIQUE: Rapid and Accurate Video Quality Prediction of User Generated Content [44.03188436272383]
  RAPIQUE(Rapid and Accurate Video Quality Evaluator)をダブする、コンテンツのための効率的で効率的なビデオ品質モデルを紹介します。 RAPIQUEは、品質認識のシーン統計機能と意味認識の深い畳み込み機能の両方の利点を組み合わせて活用します。 最近の大規模なビデオ品質データベースに関する実験結果から、RAPIQUEはすべてのデータセットで最高のパフォーマンスを計算コストを大幅に削減できます。
  論文  参考訳（メタデータ） (2021-01-26T17:23:46Z)
• UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated Content [59.13821614689478]
  コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。 ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。 先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。 我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-29T00:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。