論文の概要: DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild

• arxiv url: http://arxiv.org/abs/2405.19996v4
• Date: Sat, 17 Aug 2024 13:53:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 02:38:38.187769
• Title: DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild
• Title（参考訳）: DP-IQA:野生のブラインド画像品質評価に先立って拡散を利用する
• Authors: Honghao Fu, Yufei Wang, Wenhan Yang, Bihan Wen,
• Abstract要約: 野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
• 参考スコア（独自算出の注目度）: 54.139923409101044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind image quality assessment (IQA) in the wild, which assesses the quality of images with complex authentic distortions and no reference images, presents significant challenges. Given the difficulty in collecting large-scale training data, leveraging limited data to develop a model with strong generalization remains an open problem. Motivated by the robust image perception capabilities of pre-trained text-to-image (T2I) diffusion models, we propose a novel IQA method, diffusion priors-based IQA (DP-IQA), to utilize the T2I model's prior for improved performance and generalization ability. Specifically, we utilize pre-trained Stable Diffusion as the backbone, extracting multi-level features from the denoising U-Net guided by prompt embeddings through a tunable text adapter. Simultaneously, an image adapter compensates for information loss introduced by the lossy pre-trained encoder. Unlike T2I models that require full image distribution modeling, our approach targets image quality assessment, which inherently requires fewer parameters. To improve applicability, we distill the knowledge into a lightweight CNN-based student model, significantly reducing parameters while maintaining or even enhancing generalization performance. Experimental results demonstrate that DP-IQA achieves state-of-the-art performance on various in-the-wild datasets, highlighting the superior generalization capability of T2I priors in blind IQA tasks. To our knowledge, DP-IQA is the first method to apply pre-trained diffusion priors in blind IQA. Codes and checkpoints are available at https://github.com/RomGai/DP-IQA.
• Abstract（参考訳）: 複雑な精度の歪みと参照画像のない画像の品質を評価する、野生におけるブラインド画像品質評価(IQA)は、重大な課題を提示する。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルのロバストな画像認識能力により、新しいIQA法、拡散優先型IQA(DP-IQA)を提案し、T2Iモデルの先行特性を利用して性能と一般化能力を向上させる。 具体的には、トレーニング済みの安定拡散をバックボーンとして利用し、調整可能なテキストアダプタを介し、組込みを急がせることで案内されるデノナイズU-Netからマルチレベル特徴を抽出する。 同時に、画像アダプタは、失われた事前学習エンコーダによって導入された情報損失を補償する。 完全な画像分布モデリングを必要とするT2Iモデルとは異なり、本手法は本質的に少ないパラメータを必要とする画像品質評価をターゲットにしている。 適用性を向上させるために,我々は知識を軽量CNNベースの学生モデルに抽出し,一般化性能の維持や向上を図りながらパラメータを著しく削減する。 実験結果から,DP-IQA は様々な組込みデータセット上で最先端の性能を達成し,盲点IQA タスクにおける T2I 先行処理の優れた一般化能力を強調した。 我々の知る限り、DP-IQAは、ブラインドIQAに事前訓練された拡散先を適用するための最初の方法である。 コードとチェックポイントはhttps://github.com/RomGai/DP-IQA.comで入手できる。

関連論文リスト

• Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization [55.09893295671917]
  本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。 GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-09T07:26:21Z)
• Descriptive Image Quality Assessment in the Wild [25.503311093471076]
  VLMに基づく画像品質評価(IQA)は、画像品質を言語的に記述し、人間の表現に合わせることを目指している。 野生における画像品質評価(DepictQA-Wild)について紹介する。 本手法は,評価タスクと比較タスク,簡潔かつ詳細な応答,完全参照,非参照シナリオを含む多機能IQAタスクパラダイムを含む。
  論文  参考訳（メタデータ） (2024-05-29T07:49:15Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• Learning Generalizable Perceptual Representations for Data-Efficient No-Reference Image Quality Assessment [7.291687946822539]
  最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。 低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。 両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
  論文  参考訳（メタデータ） (2023-12-08T05:24:21Z)
• Attentions Help CNNs See Better: Attention-based Hybrid Image Quality Assessment Network [20.835800149919145]
  画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。 GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。 本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:59:18Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Continual Learning for Blind Image Quality Assessment [80.55119990128419]
  ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。 最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。 モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
  論文  参考訳（メタデータ） (2021-02-19T03:07:01Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。