論文の概要: DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild

• arxiv url: http://arxiv.org/abs/2405.19996v1
• Date: Thu, 30 May 2024 12:32:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 14:28:22.603254
• Title: DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild
• Title（参考訳）: DP-IQA:野生のブラインド画像品質評価に先立って拡散を利用する
• Authors: Honghao Fu, Yufei Wang, Wenhan Yang, Bihan Wen,
• Abstract要約: 拡散先行型IQA(DP-IQA)と呼ばれる新しいIQA法を提案する。 トレーニング済みの安定拡散をバックボーンとして使用し、復調するU-Netから多レベル特徴を抽出し、それらをデコードして画質スコアを推定する。 上記のモデルの知識をCNNベースの学生モデルに抽出し、適用性を高めるためにパラメータを大幅に削減する。
• 参考スコア（独自算出の注目度）: 54.139923409101044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image quality assessment (IQA) plays a critical role in selecting high-quality images and guiding compression and enhancement methods in a series of applications. The blind IQA, which assesses the quality of in-the-wild images containing complex authentic distortions without reference images, poses greater challenges. Existing methods are limited to modeling a uniform distribution with local patches and are bothered by the gap between low and high-level visions (caused by widely adopted pre-trained classification networks). In this paper, we propose a novel IQA method called diffusion priors-based IQA (DP-IQA), which leverages the prior knowledge from the pre-trained diffusion model with its excellent powers to bridge semantic gaps in the perception of the visual quality of images. Specifically, we use pre-trained stable diffusion as the backbone, extract multi-level features from the denoising U-Net during the upsampling process at a specified timestep, and decode them to estimate the image quality score. The text and image adapters are adopted to mitigate the domain gap for downstream tasks and correct the information loss caused by the variational autoencoder bottleneck. Finally, we distill the knowledge in the above model into a CNN-based student model, significantly reducing the parameter to enhance applicability, with the student model performing similarly or even better than the teacher model surprisingly. Experimental results demonstrate that our DP-IQA achieves state-of-the-art results on various in-the-wild datasets with better generalization capability, which shows the superiority of our method in global modeling and utilizing the hierarchical feature clues of diffusion for evaluating image quality.
• Abstract（参考訳）: 画像品質評価(IQA)は,高品質な画像の選択や,一連のアプリケーションにおける圧縮・拡張手法の指導において重要な役割を担っている。 ブラインドIQAは、参照画像のない複雑な真の歪みを含む、ワイヤ内画像の品質を評価することで、より大きな課題を提起する。 既存の手法は局所パッチを用いた均一分布のモデル化に限られており、低レベルのビジョンと高レベルのビジョンのギャップに悩まされている。 本稿では, 画像の視覚的品質の知覚において, セマンティックギャップを橋渡しする優れた能力で, 事前学習した拡散モデルからの事前知識を活用する, 拡散事前ベースIQA (DP-IQA) と呼ばれる新しいIQA手法を提案する。 具体的には、トレーニング済みの安定拡散をバックボーンとして使用し、所定のタイミングでアップサンプリング中のU-Netからマルチレベル特徴を抽出し、画像品質スコアをデコードして推定する。 テキストおよびイメージアダプタは、下流タスクの領域ギャップを緩和し、変分オートエンコーダボトルネックに起因する情報損失を補正するために採用される。 最後に、上記のモデルにおける知識をCNNベースの学生モデルに蒸留し、適用性を高めるためにパラメータを著しく削減し、学生モデルは驚くほど教師モデルと同じような、あるいはそれ以上に優れている。 実験の結果, DP-IQAは, 画像品質評価のための拡散の階層的特徴指標を用いて, 大域的モデリングにおける手法の優位性を示した。

関連論文リスト

• Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization [55.09893295671917]
  本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。 GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-09T07:26:21Z)
• Descriptive Image Quality Assessment in the Wild [25.503311093471076]
  VLMに基づく画像品質評価(IQA)は、画像品質を言語的に記述し、人間の表現に合わせることを目指している。 野生における画像品質評価(DepictQA-Wild)について紹介する。 本手法は,評価タスクと比較タスク,簡潔かつ詳細な応答,完全参照,非参照シナリオを含む多機能IQAタスクパラダイムを含む。
  論文  参考訳（メタデータ） (2024-05-29T07:49:15Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• Learning Generalizable Perceptual Representations for Data-Efficient No-Reference Image Quality Assessment [7.291687946822539]
  最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。 低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。 両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
  論文  参考訳（メタデータ） (2023-12-08T05:24:21Z)
• Attentions Help CNNs See Better: Attention-based Hybrid Image Quality Assessment Network [20.835800149919145]
  画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。 GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。 本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:59:18Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Continual Learning for Blind Image Quality Assessment [80.55119990128419]
  ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。 最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。 モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
  論文  参考訳（メタデータ） (2021-02-19T03:07:01Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。