論文の概要: Image Quality Assessment using Contrastive Learning
- arxiv url: http://arxiv.org/abs/2110.13266v1
- Date: Mon, 25 Oct 2021 21:01:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 16:08:15.339279
- Title: Image Quality Assessment using Contrastive Learning
- Title(参考訳): コントラスト学習を用いた画質評価
- Authors: Pavan C. Madhusudana, Neil Birkbeck, Yilin Wang, Balu Adsumilli, Alan
C. Bovik
- Abstract要約: 我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
- 参考スコア(独自算出の注目度): 50.265638572116984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of obtaining image quality representations in a
self-supervised manner. We use prediction of distortion type and degree as an
auxiliary task to learn features from an unlabeled image dataset containing a
mixture of synthetic and realistic distortions. We then train a deep
Convolutional Neural Network (CNN) using a contrastive pairwise objective to
solve the auxiliary problem. We refer to the proposed training framework and
resulting deep IQA model as the CONTRastive Image QUality Evaluator
(CONTRIQUE). During evaluation, the CNN weights are frozen and a linear
regressor maps the learned representations to quality scores in a No-Reference
(NR) setting. We show through extensive experiments that CONTRIQUE achieves
competitive performance when compared to state-of-the-art NR image quality
models, even without any additional fine-tuning of the CNN backbone. The
learned representations are highly robust and generalize well across images
afflicted by either synthetic or authentic distortions. Our results suggest
that powerful quality representations with perceptual relevance can be obtained
without requiring large labeled subjective image quality datasets. The
implementations used in this paper are available at
\url{https://github.com/pavancm/CONTRIQUE}.
- Abstract(参考訳): 画像品質表現を自己監督的に取得する問題を考察する。
合成および現実的な歪みの混合を含むラベルのない画像データセットから特徴を学習するために,歪みタイプと次数の予測を補助タスクとして使用する。
次に,コンボリューション深層ニューラルネットワーク(cnn)を,相反するペアワイズ目標を用いて学習し,補助問題を解く。
提案したトレーニングフレームワークと結果の深いIQAモデルを,ConTRastive Image QUality Evaluator (CONTRIQUE)と呼ぶ。
評価中、CNN重みは凍結され、線形回帰器は学習した表現をNo-Reference(NR)設定で品質スコアにマッピングする。
我々は,CNNバックボーンの微調整を伴わずとも,最先端のNR画像品質モデルと比較して競争性能が向上することを示す。
学習された表現は高度に頑健であり、合成または真正の歪みによって引き起こされる画像によく一般化される。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
本論文で使用する実装は \url{https://github.com/pavancm/contrique} で利用可能である。
関連論文リスト
- Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。
セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。
最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
論文 参考訳(メタデータ) (2024-04-27T02:40:36Z) - Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment [49.36799270585947]
No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。
我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。
提案手法は,最新のPCQA手法よりも高い性能を示す。
論文 参考訳(メタデータ) (2024-03-15T07:16:07Z) - Transformer-based No-Reference Image Quality Assessment via Supervised
Contrastive Learning [36.695247860715874]
本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。
まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。
画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。
7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-12T06:01:41Z) - ARNIQA: Learning Distortion Manifold for Image Quality Assessment [28.773037051085318]
No-Reference Image Quality Assessment (NR-IQA) は、高品質な参照画像を必要としない、人間の知覚に合わせて画像品質を測定する手法を開発することを目的としている。
本研究では、画像歪み多様体をモデル化し、本質的な表現を得るための自己教師型アプローチ ARNIQA を提案する。
論文 参考訳(メタデータ) (2023-10-20T17:22:25Z) - Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild [38.197794061203055]
教師なし環境で高レベルのコンテンツと低レベルの画像品質特徴を学習するために、2つの異なるエンコーダを訓練するためのMixture of Expertsアプローチを提案する。
本稿では,Re-IQAフレームワークから得られた高次・低次画像表現を,線形回帰モデルをトレーニングするために展開する。
本手法は,大規模画像品質評価データベース上での最先端性能を実現する。
論文 参考訳(メタデータ) (2023-04-02T05:06:51Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T15:22:01Z) - Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。
本研究では,変換器を用いた全参照IQAモデルの性能について検討する。
また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文 参考訳(メタデータ) (2022-04-27T10:21:08Z) - Attentions Help CNNs See Better: Attention-based Hybrid Image Quality
Assessment Network [20.835800149919145]
画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。
GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。
本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
論文 参考訳(メタデータ) (2022-04-22T03:59:18Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳(メタデータ) (2021-12-01T13:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。