論文の概要: FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling

• arxiv url: http://arxiv.org/abs/2207.02595v1
• Date: Wed, 6 Jul 2022 11:11:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 21:06:46.501637
• Title: FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling
• Title（参考訳）: FAST-VQA: フラグメントサンプリングによる効率的なエンドツーエンドビデオ品質評価
• Authors: Haoning Wu, Chaofeng Chen, Jingwen Hou, Liang Liao, Annan Wang, Wenxiu Sun, Qiong Yan, Weisi Lin
• Abstract要約: 現在のDeep Video Quality Assessment (VQA) 法は通常、高解像度ビデオを評価する際に高い計算コストがかかる。 そこで我々はGrid Mini-patch Smpling (GMS)を提案する。 フラグメント・アテンション・ネットワーク(FANet)は,フラグメントを入力として扱うように設計されている。 FAST-VQAは1080P高解像度ビデオで99.5%のFLOPを削減し、最先端の精度を約10%向上させる。
• 参考スコア（独自算出の注目度）: 54.31355080688127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current deep video quality assessment (VQA) methods are usually with high computational costs when evaluating high-resolution videos. This cost hinders them from learning better video-quality-related representations via end-to-end training. Existing approaches typically consider naive sampling to reduce the computational cost, such as resizing and cropping. However, they obviously corrupt quality-related information in videos and are thus not optimal for learning good representations for VQA. Therefore, there is an eager need to design a new quality-retained sampling scheme for VQA. In this paper, we propose Grid Mini-patch Sampling (GMS), which allows consideration of local quality by sampling patches at their raw resolution and covers global quality with contextual relations via mini-patches sampled in uniform grids. These mini-patches are spliced and aligned temporally, named as fragments. We further build the Fragment Attention Network (FANet) specially designed to accommodate fragments as inputs. Consisting of fragments and FANet, the proposed FrAgment Sample Transformer for VQA (FAST-VQA) enables efficient end-to-end deep VQA and learns effective video-quality-related representations. It improves state-of-the-art accuracy by around 10% while reducing 99.5% FLOPs on 1080P high-resolution videos. The newly learned video-quality-related representations can also be transferred into smaller VQA datasets, boosting performance in these scenarios. Extensive experiments show that FAST-VQA has good performance on inputs of various resolutions while retaining high efficiency. We publish our code at https://github.com/timothyhtimothy/FAST-VQA.
• Abstract（参考訳）: 現在のDeep Video Quality Assessment (VQA) 法は通常、高解像度ビデオを評価する際に高い計算コストがかかる。 このコストは、エンドツーエンドのトレーニングを通じて、より良いビデオ品質関連の表現を学ぶことを妨げる。 既存のアプローチでは、リサイズや収穫などの計算コストを削減するため、単純サンプリングが一般的である。 しかし、ビデオの品質関連情報は明らかに破損しており、VQAの優れた表現を学ぶのに最適ではない。 したがって、VQAのための新しい品質保持型サンプリングスキームを設計する必要がある。 本稿では,GMS(Grid Mini-patch Sampling)を提案する。GMSは,パッチを原解像度にサンプリングすることで,局所的な品質を考慮し,一様格子にサンプリングされたミニパッチを用いて,世界品質を文脈的関係でカバーする。 これらのミニパッチはスプライシングされ、時間的に並べられ、フラグメントと呼ばれる。 さらに,フラグメントを入力として適合するように特別に設計されたフラグメントアテンションネットワーク(fanet)を構築する。 フラグメントとFANetで構成されたFrAgment Sample Transformer for VQA (FAST-VQA) は、効率的なエンドツーエンドのVQAを実現し、ビデオ品質関連表現を効果的に学習する。 1080P高解像度ビデオでは99.5%のFLOPを削減し、最先端の精度を約10%向上させる。 新たに学習されたビデオ品質関連表現は、より小さなVQAデータセットに転送することもできるため、これらのシナリオのパフォーマンスが向上する。 FAST-VQAは高効率を保ちながら様々な解像度の入力に優れた性能を示す。 コードをhttps://github.com/timothyhtimothy/FAST-VQAで公開しています。

関連論文リスト

• EPS: Efficient Patch Sampling for Video Overfitting in Deep Super-Resolution Model Training [15.684865589513597]
  ビデオSRネットワークオーバーフィッティングのための効率的なパッチサンプリング手法であるEPSを提案する。 本手法は,クラスタの解像度や数に応じて,トレーニング用パッチの数を4%から25%に削減する。 最新のパッチサンプリング手法であるEMTと比較して,本手法は全体の実行時間を83%削減する。
  論文  参考訳（メタデータ） (2024-11-25T12:01:57Z)
• CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
  VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。 提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
  論文  参考訳（メタデータ） (2024-07-06T02:32:28Z)
• Enhancing Blind Video Quality Assessment with Rich Quality-aware Features [79.18772373737724]
  ソーシャルメディアビデオの視覚的品質評価(BVQA)モデルを改善するための,シンプルだが効果的な手法を提案する。 本稿では,BIQAモデルとBVQAモデルを用いて,事前学習したブラインド画像品質評価(BIQA)から,リッチな品質認識機能について検討する。 実験により,提案モデルが3つのソーシャルメディアVQAデータセット上で最高の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-14T16:32:11Z)
• Capturing Co-existing Distortions in User-Generated Content for No-reference Video Quality Assessment [9.883856205077022]
  ビデオ品質アセスメント(VQA)は、ビデオの知覚品質を予測することを目的としている。 VQAはユーザ生成コンテンツ(UGC)ビデオで未解決の2つの過小評価課題に直面している。 品質関連スパース特徴をより効率的に抽出するためのtextitVisual Quality Transformer (VQT) を提案する。
  論文  参考訳（メタデータ） (2023-07-31T16:29:29Z)
• MRET: Multi-resolution Transformer for Video Quality Assessment [37.355412115794195]
  ユーザ生成コンテンツ(UGC)の非参照ビデオ品質評価(NR-VQA)は、視覚体験の理解と改善に不可欠である。 現在、大量のビデオは720p以上なので、NR-VQA法で使用される固定された比較的小さな入力は、多くのビデオに対して高周波の詳細を欠いている。 本稿では,高分解能な品質情報を保存するトランスフォーマーベースのNR-VQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T21:48:49Z)
• Neighbourhood Representative Sampling for Efficient End-to-end Video Quality Assessment [60.57703721744873]
  リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。 フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2022-10-11T11:38:07Z)
• FAVER: Blind Quality Prediction of Variable Frame Rate Videos [47.951054608064126]
  ビデオ品質アセスメント(VQA)は、最も大規模な多くのアプリケーションに影響を与える重要かつ困難な問題であり続けている。 我々は、フレームレート対応ビデオ評価器w/o参照(FAVER)をダブした、HFRビデオの評価のための第一種ブラインドVQAモデルを提案する。 いくつかのHFRビデオ品質データセットに対する実験により、FAVERは他の盲点VQAアルゴリズムよりも妥当な計算コストで優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-05T07:54:12Z)
• UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated Content [59.13821614689478]
  コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。 ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。 先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。 我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-29T00:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。