論文の概要: Revisiting Video Quality Assessment from the Perspective of Generalization
- arxiv url: http://arxiv.org/abs/2409.14847v1
- Date: Mon, 23 Sep 2024 09:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 20:39:08.898195
- Title: Revisiting Video Quality Assessment from the Perspective of Generalization
- Title（参考訳）: 一般化の観点からの映像品質評価の再考
- Authors: Xinli Yue, Jianhui Sun, Liangchao Yao, Fan Xia, Yuetang Deng, Tianyi Wang, Lei Li, Fengyun Rao, Jing Lv, Qian Wang, Lingchen Zhao,
- Abstract要約: YouTube Shorts、TikTok、Kwaiなどの短いビデオプラットフォームは、ユーザー生成コンテンツ(UGC)の急増につながっている。
これらの課題は、テストセットのパフォーマンスに影響を与えるだけでなく、異なるデータセットをまたいで一般化する能力にも影響を及ぼす。
対向重み摂動は、この景観を効果的に滑らかにし、一般化性能を著しく向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 17.695835285573807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing popularity of short video platforms such as YouTube Shorts, TikTok, and Kwai has led to a surge in User-Generated Content (UGC), which presents significant challenges for the generalization performance of Video Quality Assessment (VQA) tasks. These challenges not only affect performance on test sets but also impact the ability to generalize across different datasets. While prior research has primarily focused on enhancing feature extractors, sampling methods, and network branches, it has largely overlooked the generalization capabilities of VQA tasks. In this work, we reevaluate the VQA task from a generalization standpoint. We begin by analyzing the weight loss landscape of VQA models, identifying a strong correlation between this landscape and the generalization gaps. We then investigate various techniques to regularize the weight loss landscape. Our results reveal that adversarial weight perturbations can effectively smooth this landscape, significantly improving the generalization performance, with cross-dataset generalization and fine-tuning performance enhanced by up to 1.8% and 3%, respectively. Through extensive experiments across various VQA methods and datasets, we validate the effectiveness of our approach. Furthermore, by leveraging our insights, we achieve state-of-the-art performance in Image Quality Assessment (IQA) tasks. Our code is available at https://github.com/XinliYue/VQA-Generalization.
- Abstract（参考訳）: YouTube Shorts、TikTok、Kwaiなどのショートビデオプラットフォームの人気が高まり、ユーザ生成コンテンツ(UGC)が急増し、ビデオ品質アセスメント(VQA)タスクの一般化パフォーマンスに対する大きな課題が提示されている。
これらの課題は、テストセットのパフォーマンスに影響を与えるだけでなく、異なるデータセットをまたいで一般化する能力にも影響を及ぼす。
これまでの研究は主に特徴抽出器、サンプリング方法、ネットワーク分岐の強化に重点を置いてきたが、VQAタスクの一般化能力は概ね見過ごされてきた。
本稿では,一般化の観点から,VQAタスクを再評価する。
まず、VQAモデルの重量損失景観を分析し、この景観と一般化ギャップの強い相関関係を同定する。
次に、減量景観を規則化する様々な手法について検討する。
その結果, 対向重み摂動は, この景観を効果的に平滑にし, 一般化性能を著しく向上させ, クロスデータセットの一般化と微調整性能を最大1.8%, 3%向上させることができた。
様々なVQA手法やデータセットの広範な実験を通じて,本手法の有効性を検証した。
さらに、この知見を活用することで、画像品質評価(IQA)タスクにおける最先端のパフォーマンスを実現する。
私たちのコードはhttps://github.com/XinliYue/VQA-Generalizationで公開されています。
関連論文リスト
- CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。
提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
論文 参考訳（メタデータ） (2024-07-06T02:32:28Z) - GAIA: Rethinking Action Quality Assessment for AI-Generated Videos [56.047773400426486]
アクション品質アセスメント(AQA)アルゴリズムは、主に実際の特定のシナリオからのアクションに焦点を当て、規範的なアクション機能で事前訓練されている。
我々は,新たな因果推論の観点から大規模主観評価を行うことにより,GAIAを構築した。
その結果、従来のAQA手法、最近のT2Vベンチマークにおけるアクション関連指標、メインストリームビデオ品質手法は、それぞれ0.454、0.191、0.519のSRCCで性能が良くないことがわかった。
論文 参考訳（メタデータ） (2024-06-10T08:18:07Z) - Descriptive Image Quality Assessment in the Wild [25.503311093471076]
VLMに基づく画像品質評価(IQA)は、画像品質を言語的に記述し、人間の表現に合わせることを目指している。
野生における画像品質評価(DepictQA-Wild)について紹介する。
本手法は,評価タスクと比較タスク,簡潔かつ詳細な応答,完全参照,非参照シナリオを含む多機能IQAタスクパラダイムを含む。
論文 参考訳（メタデータ） (2024-05-29T07:49:15Z) - Ada-DQA: Adaptive Diverse Quality-aware Feature Acquisition for Video
Quality Assessment [25.5501280406614]
近年,映像品質評価 (VQA) が注目されている。
大規模VQAデータセットのアノテートに大きな費用が、現在のディープラーニング手法の主な障害となっている。
Ada-DQA(Adaptive Diverse Quality-Aware Feature Acquisition)フレームワークは、望ましい品質関連の特徴を捉えるために提案されている。
論文 参考訳（メタデータ） (2023-08-01T16:04:42Z) - Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models [71.06007696593704]
BVQA(Blind Quality Assessment)は、実世界のビデオ対応メディアアプリケーションにおけるエンドユーザの視聴体験の監視と改善に不可欠である。
実験分野として、BVQAモデルの改良は、主に数個の人間の評価されたVQAデータセットに基づいて測定されている。
最小主義的BVQAモデルを用いて,VQAデータセットの第一種計算解析を行う。
論文 参考訳（メタデータ） (2023-07-26T06:38:33Z) - Towards Explainable In-the-Wild Video Quality Assessment: A Database and
a Language-Prompted Approach [52.07084862209754]
われわれは、13次元の質関連因子に関する4,543本のビデオについて200万以上の意見を集めている。
具体的には、各次元に対して正、負、中立の選択をラベル付けするよう被験者に求める。
これらの説明レベルの意見は、特定の品質要因と抽象的な主観的品質評価の関係を測ることができる。
論文 参考訳（メタデータ） (2023-05-22T05:20:23Z) - Towards Robust Text-Prompted Semantic Criterion for In-the-Wild Video
Quality Assessment [54.31355080688127]
コントラスト言語画像事前学習(CLIP)を用いたテキストプロンプト付きセマンティック親和性品質指標(SAQI)とそのローカライズ版(SAQI-Local)を導入する。
BVQI-Localは前例のないパフォーマンスを示し、すべてのデータセットで既存のゼロショットインデックスを少なくとも24%上回る。
我々は、異なる指標の異なる品質問題を調べるために包括的な分析を行い、設計の有効性と合理性を示す。
論文 参考訳（メタデータ） (2023-04-28T08:06:05Z) - UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated
Content [59.13821614689478]
コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。
ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。
先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。
我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2020-05-29T00:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。