論文の概要: DisCoVQA: Temporal Distortion-Content Transformers for Video Quality Assessment

• arxiv url: http://arxiv.org/abs/2206.09853v1
• Date: Mon, 20 Jun 2022 15:31:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 13:32:55.825745
• Title: DisCoVQA: Temporal Distortion-Content Transformers for Video Quality Assessment
• Title（参考訳）: DisCoVQA:ビデオ品質評価のための時間歪みコンテンツ変換器
• Authors: Haoning Wu, Chaofeng Chen, Liang Liao, Jingwen Hou, Wenxiu Sun, Qiong Yan, Weisi Lin
• Abstract要約: いくつかの時間的変動は時間的歪みを引き起こし、余分な品質劣化を引き起こす。 人間の視覚システムは、しばしば異なる内容のフレームに対して異なる注意を向ける。 本稿では, この2つの問題に対処するための, トランスフォーマーを用いたVQA手法を提案する。
• 参考スコア（独自算出の注目度）: 56.42140467085586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The temporal relationships between frames and their influences on video quality assessment (VQA) are still under-studied in existing works. These relationships lead to two important types of effects for video quality. Firstly, some temporal variations (such as shaking, flicker, and abrupt scene transitions) are causing temporal distortions and lead to extra quality degradations, while other variations (e.g. those related to meaningful happenings) do not. Secondly, the human visual system often has different attention to frames with different contents, resulting in their different importance to the overall video quality. Based on prominent time-series modeling ability of transformers, we propose a novel and effective transformer-based VQA method to tackle these two issues. To better differentiate temporal variations and thus capture the temporal distortions, we design a transformer-based Spatial-Temporal Distortion Extraction (STDE) module. To tackle with temporal quality attention, we propose the encoder-decoder-like temporal content transformer (TCT). We also introduce the temporal sampling on features to reduce the input length for the TCT, so as to improve the learning effectiveness and efficiency of this module. Consisting of the STDE and the TCT, the proposed Temporal Distortion-Content Transformers for Video Quality Assessment (DisCoVQA) reaches state-of-the-art performance on several VQA benchmarks without any extra pre-training datasets and up to 10% better generalization ability than existing methods. We also conduct extensive ablation experiments to prove the effectiveness of each part in our proposed model, and provide visualizations to prove that the proposed modules achieve our intention on modeling these temporal issues. We will publish our codes and pretrained weights later.
• Abstract（参考訳）: フレーム間の時間的関係と映像品質評価(VQA)への影響は,既存の作品では未検討である。 これらの関係は、ビデオ品質に2つの重要な効果をもたらす。 第一に、いくつかの時間変動(揺らぎ、フリック、急激なシーン遷移など)は時間歪みを引き起こし、余分な品質劣化を引き起こすが、他の変動(例えば意味のある出来事に関連するもの)は起こらない。 第二に、人間の視覚システムは、しばしば異なる内容のフレームに対して異なる注意を払っており、その結果、ビデオ全体の品質に異なる重要性をもたらす。 本稿では,この2つの課題に対処するために,トランスフォーマーの時系列モデリング能力を活かした,新しい効率的なトランスフォーマーベースのVQA手法を提案する。 時間的変動をよりよく区別し、時間的歪みを捉えるために、変換器を用いた時空間歪み抽出(STDE)モジュールを設計する。 時間品質に配慮するために,エンコーダデコーダライクな時間コンテンツトランス (tct) を提案する。 また,このモジュールの学習効率と効率を向上させるため,TCTの入力長を削減するため,特徴量の時間的サンプリングも導入した。 STDEとTCTで構成され、提案されているビデオ品質評価のためのテンポラル歪み変換器(DisCoVQA)は、追加の事前トレーニングデータセットを使わずに、いくつかのVQAベンチマークで最先端のパフォーマンスに達し、既存の方法よりも最大10%優れた一般化能力を持つ。 また,提案モデルにおける各部分の有効性を証明するための広範囲なアブレーション実験を行い,提案モジュールがこれらの時間的問題をモデル化する意図を達成できることを可視化する。 コードとトレーニング済みの重みを後で公開します。

関連論文リスト

• Video Quality Assessment Based on Swin TransformerV2 and Coarse to Fine Strategy [16.436012370209845]
  非参照品質評価の目的は、高精細参照にアクセスせずに歪みビデオの品質を評価することである。 本研究では,複数の画像品質評価データセットを事前学習した拡張空間認識モジュールと,軽量時間融合モジュールを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:33:54Z)
• Capturing Co-existing Distortions in User-Generated Content for No-reference Video Quality Assessment [9.883856205077022]
  ビデオ品質アセスメント(VQA)は、ビデオの知覚品質を予測することを目的としている。 VQAはユーザ生成コンテンツ(UGC)ビデオで未解決の2つの過小評価課題に直面している。 品質関連スパース特徴をより効率的に抽出するためのtextitVisual Quality Transformer (VQT) を提案する。
  論文  参考訳（メタデータ） (2023-07-31T16:29:29Z)
• Saliency-Aware Spatio-Temporal Artifact Detection for Compressed Video Quality Assessment [16.49357671290058]
  圧縮されたビデオは、しばしば知覚可能なテンポラルアーティファクト(PEAs)として知られる視覚的に厄介なアーティファクトを示す。 本稿では,4つの空間的PEA(ブラーリング,ブロッキング,出血,リング)と2つの時間的PEA(フリックリング,フローティング)が映像品質に与える影響について検討する。 6種類のPEAに基づいて,SSTAM(Saliency-Aware Spatio-Temporal Artifacts Measurement)と呼ばれる品質指標を提案する。
  論文  参考訳（メタデータ） (2023-01-03T12:48:27Z)
• End-to-end Transformer for Compressed Video Quality Enhancement [21.967066471073462]
  本稿では,Swin-AutoEncoderをベースとしたSpatio-Temporal Feature Fusion(SSTF)モジュールとChannel-wise Attention based Quality Enhancement(CAQE)モジュールからなる,トランスフォーマーベースの圧縮ビデオ品質向上(TVQE)手法を提案する。 提案手法は,推定速度とGPU消費の両方の観点から既存手法より優れている。
  論文  参考訳（メタデータ） (2022-10-25T08:12:05Z)
• Neighbourhood Representative Sampling for Efficient End-to-end Video Quality Assessment [60.57703721744873]
  リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。 フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2022-10-11T11:38:07Z)
• Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment [55.65173181828863]
  表現の図形的形態を記述することにより、時間的歪みを測定するための時間的知覚品質指標(TPQI)を提案する。 実験の結果,TPQIは主観的時間的品質を予測する効果的な方法であることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T07:30:51Z)
• Making Video Quality Assessment Models Sensitive to Frame Rate Distortions [63.749184706461826]
  映像品質評価(VQA)の一環として,フレームレートの変化に伴う歪みを捉えることの問題点を考察する。 本稿では,GREEDの時間的特徴を既存のVQAモデルと組み合わせた単純な融合フレームワークを提案する。 この結果から,効率的な時間表現を用いることで,より堅牢で正確なVQAモデルが得られることが示唆された。
  論文  参考訳（メタデータ） (2022-05-21T04:13:57Z)
• Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
  ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。 我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
  論文  参考訳（メタデータ） (2021-06-17T02:30:26Z)
• ST-GREED: Space-Time Generalized Entropic Differences for Frame Rate Dependent Video Quality Prediction [63.749184706461826]
  本研究では, フレームレートが知覚品質に与える影響と, フレームレートと圧縮が, 知覚品質に与える影響について検討した。 本研究では,空間的および時間的帯域通過映像係数の統計を解析する空間時間生成エントロピー差(GREED)と呼ばれる客観的VQAモデルを提案する。 GREEDは、既存のVQAモデルと比較した場合、LIVE-YT-HFRデータベース上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-10-26T16:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。