論文の概要: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models

• arxiv url: http://arxiv.org/abs/2412.01794v2
• Date: Sun, 16 Mar 2025 21:10:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 14:56:57.167535
• Title: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models
• Title（参考訳）: IQA-Adapter:画像品質評価から拡散に基づく生成モデルへの知識伝達を探る
• Authors: Khaled Abud, Sergey Lavrushkin, Alexey Kirillov, Dmitriy Vatolin,
• Abstract要約: 画像品質評価(IQA)モデルを拡散型ジェネレータに統合する手法を提案する。 拡散モデルはIQAモデルの出力と内部アクティベーションの両方から複雑な定性的関係を学習できることを示す。 IQA-Adapterは,画像と品質スコアの暗黙的関係を学習することで,目標品質レベルの生成を条件付ける新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 0.5356944479760104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based models have recently revolutionized image generation, achieving unprecedented levels of fidelity. However, consistent generation of high-quality images remains challenging partly due to the lack of conditioning mechanisms for perceptual quality. In this work, we propose methods to integrate image quality assessment (IQA) models into diffusion-based generators, enabling quality-aware image generation. We show that diffusion models can learn complex qualitative relationships from both IQA models' outputs and internal activations. First, we experiment with gradient-based guidance to optimize image quality directly and show this method has limited generalizability. To address this, we introduce IQA-Adapter, a novel framework that conditions generation on target quality levels by learning the implicit relationship between images and quality scores. When conditioned on high target quality, IQA-Adapter can shift the distribution of generated images towards a higher-quality subdomain, and, inversely, it can be used as a degradation model, generating progressively more distorted images when provided with a lower-quality signal. Under high-quality condition, IQA-Adapter achieves up to a 10% improvement across multiple objective metrics, as confirmed by a user preference study, while preserving generative diversity and content. Furthermore, we extend IQA-Adapter to a reference-based conditioning scenario, utilizing the rich activation space of IQA models to transfer highly specific, content-agnostic qualitative features between images.
• Abstract（参考訳）: 拡散モデルは最近画像生成に革命をもたらし、前例のないレベルの忠実さを達成した。 しかしながら、高品質な画像の一貫性の生成は、部分的には知覚品質の条件付け機構が欠如しているため、依然として困難である。 本研究では,画像品質評価(IQA)モデルを拡散型ジェネレータに統合し,品質を考慮した画像生成を実現する手法を提案する。 拡散モデルはIQAモデルの出力と内部アクティベーションの両方から複雑な定性的関係を学習できることを示す。 まず、画像品質を直接最適化するための勾配に基づくガイダンスを実験し、この手法の一般化性に限界があることを示す。 IQA-Adapterは,画像と品質スコアの暗黙的関係を学習することにより,目標品質のレベルを規定する新しいフレームワークである。 IQA-Adapterは、高い目標品質を条件に、生成した画像の分布を高品質のサブドメインにシフトすることができ、逆に劣化モデルとして使用することができ、低品質の信号が提供されると徐々に歪んだ画像を生成する。 高品質な条件下では、IQA-Adapterは、複数の客観的指標に対して最大10%の改善を達成する。 さらに、IQA-Adapterを参照ベースの条件付けシナリオに拡張し、IQAモデルのリッチなアクティベーション空間を利用して、画像間で高度に具体的かつコンテンツに依存しない定性的特徴を伝達する。

関連論文リスト

• Toward Generalized Image Quality Assessment: Relaxing the Perfect Reference Quality Assumption [21.811319260270732]
  フルリファレンス画像品質評価(FR-IQA)は一般的に、参照画像が完全な品質であると仮定する。 近年の再生強調法は、原画像よりも高品質な画像を生成することができる。 実験画像の忠実度と自然度を正確に評価し、適応的に組み合わせるために、一般化されたFR-IQAモデル(Adaptive Fidelity-Naturalness Evaluator, A-FINE)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T09:12:03Z)
• IQPFR: An Image Quality Prior for Blind Face Restoration and Beyond [56.99331967165238]
  Blind Face Restoration (BFR)は、劣化した低品質(LQ)の顔画像を高品質(HQ)の出力に再構成する課題に対処する。 本研究では,非参照画像品質評価(NR-IQA)モデルから得られた画像品質優先(IQP)を組み込んだ新しいフレームワークを提案する。 提案手法は,複数のベンチマークにおいて最先端技術より優れている。
  論文  参考訳（メタデータ） (2025-03-12T11:39:51Z)
• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• GenzIQA: Generalized Image Quality Assessment using Prompt-Guided Latent Diffusion Models [7.291687946822539]
  最先端のNR-IQA手法の大きな欠点は、様々なIQA設定にまたがる一般化能力に制限があることである。 近年のテキスト・ツー・イメージ生成モデルでは,テキスト概念に関する細部から意味のある視覚概念が生成されている。 本研究では、学習可能な品質対応テキストプロンプトと画像のアライメントの程度を理解することにより、一般化されたIQAに対してそのような拡散モデルのデノベーションプロセスを利用する。
  論文  参考訳（メタデータ） (2024-06-07T05:46:39Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Cross-IQA: Unsupervised Learning for Image Quality Assessment [3.2287957986061038]
  本稿では,視覚変換器(ViT)モデルに基づく非参照画像品質評価(NR-IQA)手法を提案する。 提案手法は,ラベルのない画像データから画像品質の特徴を学習することができる。 実験結果から,Cross-IQAは低周波劣化情報の評価において最先端の性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-07T13:35:51Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• When No-Reference Image Quality Models Meet MAP Estimation in Diffusion Latents [92.45867913876691]
  非参照画像品質評価(NR-IQA)モデルは、知覚された画像品質を効果的に定量化することができる。 NR-IQAモデルは、画像強調のための最大後部推定(MAP)フレームワークにプラグイン可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T03:35:41Z)
• Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment [78.21609845377644]
  本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。 生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。 2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
  論文  参考訳（メタデータ） (2024-02-22T09:39:46Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。