論文の概要: Knowledge Guided Semi-Supervised Learning for Quality Assessment of User Generated Videos

• arxiv url: http://arxiv.org/abs/2312.15425v1
• Date: Sun, 24 Dec 2023 07:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 18:02:11.514893
• Title: Knowledge Guided Semi-Supervised Learning for Quality Assessment of User Generated Videos
• Title（参考訳）: ユーザ生成ビデオの品質評価のための知識誘導半教師付き学習
• Authors: Shankhanil Mitra and Rajiv Soundararajan
• Abstract要約: ビデオの品質を意識したロバストな機能を生成するための自己教師型フレームワークを設計する。 次に,ビデオ品質評価タスクに特化して設計された,デュアルモデルに基づくSemi Supervised Learning(SSL)手法を提案する。 我々のSSL-VQAメソッドはST-VQRLバックボーンを使用して、様々なVQAデータセット間で堅牢なパフォーマンスを生成する。 本モデルでは,制限データのみをトレーニングした場合の最先端性能を約10%向上させ,SSLでも未使用データを使用すれば約15%向上させる。
• 参考スコア（独自算出の注目度）: 9.681456357957819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perceptual quality assessment of user generated content (UGC) videos is challenging due to the requirement of large scale human annotated videos for training. In this work, we address this challenge by first designing a self-supervised Spatio-Temporal Visual Quality Representation Learning (ST-VQRL) framework to generate robust quality aware features for videos. Then, we propose a dual-model based Semi Supervised Learning (SSL) method specifically designed for the Video Quality Assessment (SSL-VQA) task, through a novel knowledge transfer of quality predictions between the two models. Our SSL-VQA method uses the ST-VQRL backbone to produce robust performances across various VQA datasets including cross-database settings, despite being learned with limited human annotated videos. Our model improves the state-of-the-art performance when trained only with limited data by around 10%, and by around 15% when unlabelled data is also used in SSL. Source codes and checkpoints are available at https://github.com/Shankhanil006/SSL-VQA.
• Abstract（参考訳）: ユーザ生成コンテンツ(UGC)ビデオの知覚的品質評価は、大規模な人間の注釈付きビデオを必要とするため困難である。 本研究では,まず,ビデオの高機能な品質認識機能を実現するために,自己教師付き時空間視覚品質表現学習(ST-VQRL)フレームワークを設計する。 そこで本研究では,ビデオ品質評価(SSL-VQA)タスクに特化して設計された2モデルに基づく半教師付き学習(SSL)手法を提案する。 我々のSSL-VQAメソッドはST-VQRLバックボーンを使用して、人間の注釈付きビデオで学習されているにもかかわらず、データベース間設定を含む様々なVQAデータセット間で堅牢なパフォーマンスを生成する。 本モデルでは,制限データのみをトレーニングした場合の最先端性能を約10%向上させ,SSLでも未使用データを使用すれば約15%向上させる。 ソースコードとチェックポイントはhttps://github.com/Shankhanil006/SSL-VQAで入手できる。

関連論文リスト

• VQA$^2$: Visual Question Answering for Video Quality Assessment [76.81110038738699]
  ビデオ品質アセスメント(VQA)は、低レベルの視覚知覚において古典的な分野である。 画像領域における最近の研究は、視覚質問応答(VQA)が視覚的品質を著しく低レベルに評価できることを示した。 VQA2インストラクションデータセットは,ビデオ品質評価に焦点をあてた最初の視覚的質問応答インストラクションデータセットである。 VQA2シリーズは、ビデオにおける空間的時間的品質の詳細の知覚を高めるために、視覚的および運動的トークンをインターリーブする。
  論文  参考訳（メタデータ） (2024-11-06T09:39:52Z)
• CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
  VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。 提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
  論文  参考訳（メタデータ） (2024-07-06T02:32:28Z)
• PTM-VQA: Efficient Video Quality Assessment Leveraging Diverse PreTrained Models from the Wild [27.195339506769457]
  映像品質評価(VQA)は、映像の知覚品質に影響を与える多くの要因により難しい問題である。 ビデオに対する平均評価スコア(MOS)の注釈付けは高価で時間を要するため、VQAデータセットのスケールが制限される。 PTM-VQAと呼ばれるVQA手法を提案し、PreTrained Modelsを利用して、様々な事前タスクで事前訓練されたモデルから知識を伝達する。
  論文  参考訳（メタデータ） (2024-05-28T02:37:29Z)
• Enhancing Blind Video Quality Assessment with Rich Quality-aware Features [79.18772373737724]
  ソーシャルメディアビデオの視覚的品質評価(BVQA)モデルを改善するための,シンプルだが効果的な手法を提案する。 本稿では,BIQAモデルとBVQAモデルを用いて,事前学習したブラインド画像品質評価(BIQA)から,リッチな品質認識機能について検討する。 実験により,提案モデルが3つのソーシャルメディアVQAデータセット上で最高の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-14T16:32:11Z)
• KVQ: Kwai Video Quality Assessment for Short-form Videos [24.5291786508361]
  我々は,600本のユーザアップロードショートビデオと3600本のプロセッシングビデオからなる,最初の大規模KVQ(Kleidoscope short Video database for Quality Assessment)を構築した。 そこで我々は,KSVQEというビデオ品質評価装置を提案する。これにより,品質決定セマンティクスを大規模視覚言語モデルの内容理解とともに識別することができる。
  論文  参考訳（メタデータ） (2024-02-11T14:37:54Z)
• Disentangling Aesthetic and Technical Effects for Video Quality Assessment of User Generated Content [54.31355080688127]
  YouTube-VQA問題における人間の品質知覚のメカニズムはまだ解明されていない。 本稿では,2つの個別評価器を,各問題に特化して設計したビューで訓練する手法を提案する。 我々の盲目主観的研究は、DOVERの別個の評価器が、各不整合品質問題に対する人間の認識と効果的に一致できることを証明している。
  論文  参考訳（メタデータ） (2022-11-09T13:55:50Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Unified Quality Assessment of In-the-Wild Videos with Mixed Datasets Training [20.288424566444224]
  我々は、コンピュータビジョンアプリケーションにおいて、Wildビデオの品質を自動評価することに注力する。 品質評価モデルの性能向上のために,人間の知覚から直観を借りる。 複数のデータセットで単一のVQAモデルをトレーニングするための混合データセットトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-09T09:22:57Z)
• UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated Content [59.13821614689478]
  コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。 ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。 先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。 我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-29T00:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。