論文の概要: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models

• arxiv url: http://arxiv.org/abs/2412.01794v1
• Date: Mon, 02 Dec 2024 18:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.701099
• Title: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models
• Title（参考訳）: IQA-Adapter:画像品質評価から拡散に基づく生成モデルへの知識伝達を探る
• Authors: Khaled Abud, Sergey Lavrushkin, Alexey Kirillov, Dmitriy Vatolin,
• Abstract要約: 本稿では,画像と品質スコアの関係を学習することで,目標品質レベルの生成を条件付ける新しいアーキテクチャであるIQA-Adapterを紹介する。 IQA-Adapterは、主観的な研究によって確認されたように、複数の客観的指標に対して最大10%の改善が達成される。 我々の品質認識手法はまた、IQAモデルの対角的堅牢性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.5356944479760104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based models have recently transformed conditional image generation, achieving unprecedented fidelity in generating photorealistic and semantically accurate images. However, consistently generating high-quality images remains challenging, partly due to the lack of mechanisms for conditioning outputs on perceptual quality. In this work, we propose methods to integrate image quality assessment (IQA) models into diffusion-based generators, enabling quality-aware image generation. First, we experiment with gradient-based guidance to optimize image quality directly and show this approach has limited generalizability. To address this, we introduce IQA-Adapter, a novel architecture that conditions generation on target quality levels by learning the relationship between images and quality scores. When conditioned on high target quality, IQA-Adapter shifts the distribution of generated images towards a higher-quality subdomain. This approach achieves up to a 10% improvement across multiple objective metrics, as confirmed by a subjective study, while preserving generative diversity and content. Additionally, IQA-Adapter can be used inversely as a degradation model, generating progressively more distorted images when conditioned on lower quality scores. Our quality-aware methods also provide insights into the adversarial robustness of IQA models, underscoring the potential of quality conditioning in generative modeling and the importance of robust IQA methods.
• Abstract（参考訳）: 拡散に基づくモデルは、最近条件付き画像生成を変換し、フォトリアリスティックで意味論的に正確な画像を生成する際に、前例のない忠実性を達成した。 しかし、高品質な画像の連続生成は、部分的には知覚的品質に出力を条件付けるメカニズムが欠如しているため、依然として困難である。 本研究では,画像品質評価(IQA)モデルを拡散型ジェネレータに統合し,品質を考慮した画像生成を実現する手法を提案する。 まず、画像品質を直接最適化するための勾配に基づくガイダンスを実験し、このアプローチが一般化性に制限されていることを示す。 IQA-Adapterは,画像と品質スコアの関係を学習することで,対象の品質レベルに基づいて生成する新しいアーキテクチャである。 IQA-Adapterは、高い目標品質を条件に、生成された画像の分布を高品質のサブドメインにシフトする。 このアプローチは、生成的多様性とコンテンツを保持しながら、主観的な研究によって確認されたように、複数の客観的指標に対して最大10%の改善を達成する。 さらに、IQA-Adapterは劣化モデルとして逆向きに使用することができ、低品質のスコアで条件付けられたときに徐々に歪んだ画像を生成する。 我々の品質認識手法はまた、IQAモデルの対角的ロバスト性に関する洞察を与え、生成モデルにおける品質条件付けの可能性とロバストIQA手法の重要性を浮き彫りにしている。

関連論文リスト

• Toward Generalized Image Quality Assessment: Relaxing the Perfect Reference Quality Assumption [21.811319260270732]
  フルリファレンス画像品質評価(FR-IQA)は一般的に、参照画像が完全な品質であると仮定する。 近年の再生強調法は、原画像よりも高品質な画像を生成することができる。 実験画像の忠実度と自然度を正確に評価し、適応的に組み合わせるために、一般化されたFR-IQAモデル(Adaptive Fidelity-Naturalness Evaluator, A-FINE)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T09:12:03Z)
• IQPFR: An Image Quality Prior for Blind Face Restoration and Beyond [56.99331967165238]
  Blind Face Restoration (BFR)は、劣化した低品質(LQ)の顔画像を高品質(HQ)の出力に再構成する課題に対処する。 本研究では,非参照画像品質評価(NR-IQA)モデルから得られた画像品質優先(IQP)を組み込んだ新しいフレームワークを提案する。 提案手法は,複数のベンチマークにおいて最先端技術より優れている。
  論文  参考訳（メタデータ） (2025-03-12T11:39:51Z)
• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• GenzIQA: Generalized Image Quality Assessment using Prompt-Guided Latent Diffusion Models [7.291687946822539]
  最先端のNR-IQA手法の大きな欠点は、様々なIQA設定にまたがる一般化能力に制限があることである。 近年のテキスト・ツー・イメージ生成モデルでは,テキスト概念に関する細部から意味のある視覚概念が生成されている。 本研究では、学習可能な品質対応テキストプロンプトと画像のアライメントの程度を理解することにより、一般化されたIQAに対してそのような拡散モデルのデノベーションプロセスを利用する。
  論文  参考訳（メタデータ） (2024-06-07T05:46:39Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Cross-IQA: Unsupervised Learning for Image Quality Assessment [3.2287957986061038]
  本稿では,視覚変換器(ViT)モデルに基づく非参照画像品質評価(NR-IQA)手法を提案する。 提案手法は,ラベルのない画像データから画像品質の特徴を学習することができる。 実験結果から,Cross-IQAは低周波劣化情報の評価において最先端の性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-07T13:35:51Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• When No-Reference Image Quality Models Meet MAP Estimation in Diffusion Latents [92.45867913876691]
  非参照画像品質評価(NR-IQA)モデルは、知覚された画像品質を効果的に定量化することができる。 NR-IQAモデルは、画像強調のための最大後部推定(MAP)フレームワークにプラグイン可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T03:35:41Z)
• Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment [78.21609845377644]
  本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。 生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。 2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
  論文  参考訳（メタデータ） (2024-02-22T09:39:46Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。