論文の概要: Unified Quality Assessment of In-the-Wild Videos with Mixed Datasets
Training
- arxiv url: http://arxiv.org/abs/2011.04263v2
- Date: Sun, 15 Nov 2020 09:13:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 02:28:33.513031
- Title: Unified Quality Assessment of In-the-Wild Videos with Mixed Datasets
Training
- Title(参考訳): 混合データセット学習によるWild内映像の統一品質評価
- Authors: Dingquan Li, Tingting Jiang, Ming Jiang
- Abstract要約: 我々は、コンピュータビジョンアプリケーションにおいて、Wildビデオの品質を自動評価することに注力する。
品質評価モデルの性能向上のために,人間の知覚から直観を借りる。
複数のデータセットで単一のVQAモデルをトレーニングするための混合データセットトレーニング戦略を提案する。
- 参考スコア(独自算出の注目度): 20.288424566444224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video quality assessment (VQA) is an important problem in computer vision.
The videos in computer vision applications are usually captured in the wild. We
focus on automatically assessing the quality of in-the-wild videos, which is a
challenging problem due to the absence of reference videos, the complexity of
distortions, and the diversity of video contents. Moreover, the video contents
and distortions among existing datasets are quite different, which leads to
poor performance of data-driven methods in the cross-dataset evaluation
setting. To improve the performance of quality assessment models, we borrow
intuitions from human perception, specifically, content dependency and
temporal-memory effects of human visual system. To face the cross-dataset
evaluation challenge, we explore a mixed datasets training strategy for
training a single VQA model with multiple datasets. The proposed unified
framework explicitly includes three stages: relative quality assessor,
nonlinear mapping, and dataset-specific perceptual scale alignment, to jointly
predict relative quality, perceptual quality, and subjective quality.
Experiments are conducted on four publicly available datasets for VQA in the
wild, i.e., LIVE-VQC, LIVE-Qualcomm, KoNViD-1k, and CVD2014. The experimental
results verify the effectiveness of the mixed datasets training strategy and
prove the superior performance of the unified model in comparison with the
state-of-the-art models. For reproducible research, we make the PyTorch
implementation of our method available at https://github.com/lidq92/MDTVSFA.
- Abstract(参考訳): 映像品質評価(VQA)はコンピュータビジョンにおいて重要な問題である。
コンピュータビジョンアプリケーションのビデオは通常、野生で撮影される。
我々は,参照ビデオの欠如,歪みの複雑さ,映像内容の多様性など,難題である,Wild動画の品質を自動評価することに注力する。
さらに、既存のデータセット間のビデオの内容と歪みが全く異なり、データセット間評価設定におけるデータ駆動手法の性能が低下する。
品質評価モデルの性能向上のために、人間の知覚、特に人間の視覚系におけるコンテンツ依存と時間記憶の影響から直観を借りる。
データセット間評価の課題に対処するために、複数のデータセットで単一のVQAモデルをトレーニングするための混合データセットトレーニング戦略を検討する。
提案した統合フレームワークは,相対品質評価器,非線形マッピング,データセット固有の知覚スケールアライメントという3つの段階を明示的に含み,相対品質,知覚品質,主観品質を共同で予測する。
実験は、live-vqc、live-qualcomm、konvid-1k、cvd2014の4つのvqaの公開データセットで行われている。
実験結果は,混合データセットトレーニング戦略の有効性を検証するとともに,最先端モデルと比較して統合モデルの優れた性能を示す。
再現可能な研究のために、我々のメソッドのPyTorch実装をhttps://github.com/lidq92/MDTVSFAで公開します。
関連論文リスト
- Ada-DQA: Adaptive Diverse Quality-aware Feature Acquisition for Video
Quality Assessment [25.5501280406614]
近年,映像品質評価 (VQA) が注目されている。
大規模VQAデータセットのアノテートに大きな費用が、現在のディープラーニング手法の主な障害となっている。
Ada-DQA(Adaptive Diverse Quality-Aware Feature Acquisition)フレームワークは、望ましい品質関連の特徴を捉えるために提案されている。
論文 参考訳(メタデータ) (2023-08-01T16:04:42Z) - Analysis of Video Quality Datasets via Design of Minimalistic Video
Quality Models [55.694387785978996]
BVQA(Blind Quality Assessment)は、実世界のビデオ対応メディアアプリケーションにおけるエンドユーザの視聴体験の監視と改善に不可欠である。
実験分野として、BVQAモデルの改良は、主に数個の人間の評価されたVQAデータセットに基づいて測定されている。
最小主義的BVQAモデルを用いて,VQAデータセットの第一種計算解析を行う。
論文 参考訳(メタデータ) (2023-07-26T06:38:33Z) - Towards Robust Text-Prompted Semantic Criterion for In-the-Wild Video
Quality Assessment [54.31355080688127]
コントラスト言語画像事前学習(CLIP)を用いたテキストプロンプト付きセマンティック親和性品質指標(SAQI)とそのローカライズ版(SAQI-Local)を導入する。
BVQI-Localは前例のないパフォーマンスを示し、すべてのデータセットで既存のゼロショットインデックスを少なくとも24%上回る。
我々は、異なる指標の異なる品質問題を調べるために包括的な分析を行い、設計の有効性と合理性を示す。
論文 参考訳(メタデータ) (2023-04-28T08:06:05Z) - Learning from Mixed Datasets: A Monotonic Image Quality Assessment Model [17.19991754976893]
異なるデータセットを組み合わせたIQAモデル学習のための単調ニューラルネットワークを提案する。
特に,本モデルは,データセット共有品質回帰器と,データセット固有の品質変換器から構成される。
論文 参考訳(メタデータ) (2022-09-21T15:53:59Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T15:22:01Z) - Perceptual Quality Assessment of Virtual Reality Videos in the Wild [50.33693148440248]
既存のパノラマビデオデータベースでは、合成歪みのみを考慮し、一定の視聴条件を仮定し、サイズに制限がある。
我々はVRVQW(VR Video Quality in the Wild)データベースを構築した。
我々は,2つの異なる視聴条件下で,139ドルの被験者から,スキャンパスと品質スコアを記録するための正式な心理物理実験を行った。
論文 参考訳(メタデータ) (2022-06-13T02:22:57Z) - Blindly Assess Quality of In-the-Wild Videos via Quality-aware
Pre-training and Motion Perception [32.87570883484805]
本稿では,画像品質評価(IQA)データベースからの知識の伝達と,リッチな動きパターンを用いた大規模行動認識を提案する。
対象のVQAデータベース上で、混合リストワイドランキング損失関数を用いて、提案したモデルをトレーニングする。
論文 参考訳(メタデータ) (2021-08-19T05:29:19Z) - Coherent Loss: A Generic Framework for Stable Video Segmentation [103.78087255807482]
ビデオセグメンテーションの結果の視覚的品質を,ジッタリングアーティファクトがいかに劣化させるかを検討する。
本稿では,ニューラルネットワークの性能向上を目的とした汎用フレームワークを備えたコヒーレントロスを提案する。
論文 参考訳(メタデータ) (2020-10-25T10:48:28Z) - UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated
Content [59.13821614689478]
コンテンツの品質劣化は予測不能で、複雑で、しばしば開始されるため、Wild動画のブラインド品質の予測は非常に難しい。
ここでは、主要なVQAモデルの包括的評価を行うことにより、この問題の進展に寄与する。
先行するVQAモデルの特徴の上に特徴選択戦略を適用することで,先行するモデルが使用する統計的特徴のうち60点を抽出することができる。
我々の実験結果から,VIDEVALは,他の先行モデルよりも計算コストがかなり低く,最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2020-05-29T00:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。