論文の概要: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models

• arxiv url: http://arxiv.org/abs/2412.01794v2
• Date: Sun, 16 Mar 2025 21:10:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:21.251059
• Title: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models
• Title（参考訳）: IQA-Adapter:画像品質評価から拡散に基づく生成モデルへの知識伝達を探る
• Authors: Khaled Abud, Sergey Lavrushkin, Alexey Kirillov, Dmitriy Vatolin,
• Abstract要約: 画像品質評価(IQA)モデルを拡散型ジェネレータに統合する手法を提案する。 拡散モデルはIQAモデルの出力と内部アクティベーションの両方から複雑な定性的関係を学習できることを示す。 IQA-Adapterは,画像と品質スコアの暗黙的関係を学習することで,目標品質レベルの生成を条件付ける新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 0.5356944479760104
• License:
• Abstract: Diffusion-based models have recently revolutionized image generation, achieving unprecedented levels of fidelity. However, consistent generation of high-quality images remains challenging partly due to the lack of conditioning mechanisms for perceptual quality. In this work, we propose methods to integrate image quality assessment (IQA) models into diffusion-based generators, enabling quality-aware image generation. We show that diffusion models can learn complex qualitative relationships from both IQA models' outputs and internal activations. First, we experiment with gradient-based guidance to optimize image quality directly and show this method has limited generalizability. To address this, we introduce IQA-Adapter, a novel framework that conditions generation on target quality levels by learning the implicit relationship between images and quality scores. When conditioned on high target quality, IQA-Adapter can shift the distribution of generated images towards a higher-quality subdomain, and, inversely, it can be used as a degradation model, generating progressively more distorted images when provided with a lower-quality signal. Under high-quality condition, IQA-Adapter achieves up to a 10% improvement across multiple objective metrics, as confirmed by a user preference study, while preserving generative diversity and content. Furthermore, we extend IQA-Adapter to a reference-based conditioning scenario, utilizing the rich activation space of IQA models to transfer highly specific, content-agnostic qualitative features between images.
• Abstract（参考訳）: 拡散モデルは最近画像生成に革命をもたらし、前例のないレベルの忠実さを達成した。 しかしながら、高品質な画像の一貫性の生成は、部分的には知覚品質の条件付け機構が欠如しているため、依然として困難である。 本研究では,画像品質評価(IQA)モデルを拡散型ジェネレータに統合し,品質を考慮した画像生成を実現する手法を提案する。 拡散モデルはIQAモデルの出力と内部アクティベーションの両方から複雑な定性的関係を学習できることを示す。 まず、画像品質を直接最適化するための勾配に基づくガイダンスを実験し、この手法の一般化性に限界があることを示す。 IQA-Adapterは,画像と品質スコアの暗黙的関係を学習することにより,目標品質のレベルを規定する新しいフレームワークである。 IQA-Adapterは、高い目標品質を条件に、生成した画像の分布を高品質のサブドメインにシフトすることができ、逆に劣化モデルとして使用することができ、低品質の信号が提供されると徐々に歪んだ画像を生成する。 高品質な条件下では、IQA-Adapterは、複数の客観的指標に対して最大10%の改善を達成する。 さらに、IQA-Adapterを参照ベースの条件付けシナリオに拡張し、IQAモデルのリッチなアクティベーション空間を利用して、画像間で高度に具体的かつコンテンツに依存しない定性的特徴を伝達する。

関連論文リスト

• GenzIQA: Generalized Image Quality Assessment using Prompt-Guided Latent Diffusion Models [7.291687946822539]
  最先端のNR-IQA手法の大きな欠点は、様々なIQA設定にまたがる一般化能力に制限があることである。 近年のテキスト・ツー・イメージ生成モデルでは,テキスト概念に関する細部から意味のある視覚概念が生成されている。 本研究では、学習可能な品質対応テキストプロンプトと画像のアライメントの程度を理解することにより、一般化されたIQAに対してそのような拡散モデルのデノベーションプロセスを利用する。
  論文  参考訳（メタデータ） (2024-06-07T05:46:39Z)
• Dual-Branch Network for Portrait Image Quality Assessment [76.27716058987251]
  ポートレート画像品質評価のためのデュアルブランチネットワーク(PIQA)を提案する。 我々は2つのバックボーンネットワーク(textiti.e., Swin Transformer-B)を使用して、肖像画全体と顔画像から高品質な特徴を抽出する。 我々は、画像シーンの分類と品質評価モデルであるLIQEを利用して、品質認識とシーン固有の特徴を補助的特徴として捉えている。
  論文  参考訳（メタデータ） (2024-05-14T12:43:43Z)
• Cross-IQA: Unsupervised Learning for Image Quality Assessment [3.2287957986061038]
  本稿では,視覚変換器(ViT)モデルに基づく非参照画像品質評価(NR-IQA)手法を提案する。 提案手法は,ラベルのない画像データから画像品質の特徴を学習することができる。 実験結果から,Cross-IQAは低周波劣化情報の評価において最先端の性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-07T13:35:51Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• When No-Reference Image Quality Models Meet MAP Estimation in Diffusion Latents [92.45867913876691]
  非参照画像品質評価(NR-IQA)モデルは、知覚された画像品質を効果的に定量化することができる。 NR-IQAモデルは、画像強調のための最大後部推定(MAP)フレームワークにプラグイン可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T03:35:41Z)
• Q-Refine: A Perceptual Quality Refiner for AI-Generated Image [85.89840673640028]
  Q-Refineという品質改善手法を提案する。 画像品質評価(IQA)メトリクスを使用して、初めて精錬プロセスをガイドする。 忠実度と美的品質の両方からAIGIを最適化するための一般的な精錬機となる。
  論文  参考訳（メタデータ） (2024-01-02T09:11:23Z)
• Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
  知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。 本研究では,変換器を用いた全参照IQAモデルの性能について検討する。 また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T10:21:08Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。