論文の概要: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models

• arxiv url: http://arxiv.org/abs/2412.01794v1
• Date: Mon, 02 Dec 2024 18:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:49:49.313119
• Title: IQA-Adapter: Exploring Knowledge Transfer from Image Quality Assessment to Diffusion-based Generative Models
• Title（参考訳）: IQA-Adapter:画像品質評価から拡散に基づく生成モデルへの知識伝達を探る
• Authors: Khaled Abud, Sergey Lavrushkin, Alexey Kirillov, Dmitriy Vatolin,
• Abstract要約: 本稿では,画像と品質スコアの関係を学習することで,目標品質レベルの生成を条件付ける新しいアーキテクチャであるIQA-Adapterを紹介する。 IQA-Adapterは、主観的な研究によって確認されたように、複数の客観的指標に対して最大10%の改善が達成される。 我々の品質認識手法はまた、IQAモデルの対角的堅牢性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.5356944479760104
• License:
• Abstract: Diffusion-based models have recently transformed conditional image generation, achieving unprecedented fidelity in generating photorealistic and semantically accurate images. However, consistently generating high-quality images remains challenging, partly due to the lack of mechanisms for conditioning outputs on perceptual quality. In this work, we propose methods to integrate image quality assessment (IQA) models into diffusion-based generators, enabling quality-aware image generation. First, we experiment with gradient-based guidance to optimize image quality directly and show this approach has limited generalizability. To address this, we introduce IQA-Adapter, a novel architecture that conditions generation on target quality levels by learning the relationship between images and quality scores. When conditioned on high target quality, IQA-Adapter shifts the distribution of generated images towards a higher-quality subdomain. This approach achieves up to a 10% improvement across multiple objective metrics, as confirmed by a subjective study, while preserving generative diversity and content. Additionally, IQA-Adapter can be used inversely as a degradation model, generating progressively more distorted images when conditioned on lower quality scores. Our quality-aware methods also provide insights into the adversarial robustness of IQA models, underscoring the potential of quality conditioning in generative modeling and the importance of robust IQA methods.
• Abstract（参考訳）: 拡散に基づくモデルは、最近条件付き画像生成を変換し、フォトリアリスティックで意味論的に正確な画像を生成する際に、前例のない忠実性を達成した。 しかし、高品質な画像の連続生成は、部分的には知覚的品質に出力を条件付けるメカニズムが欠如しているため、依然として困難である。 本研究では,画像品質評価(IQA)モデルを拡散型ジェネレータに統合し,品質を考慮した画像生成を実現する手法を提案する。 まず、画像品質を直接最適化するための勾配に基づくガイダンスを実験し、このアプローチが一般化性に制限されていることを示す。 IQA-Adapterは,画像と品質スコアの関係を学習することで,対象の品質レベルに基づいて生成する新しいアーキテクチャである。 IQA-Adapterは、高い目標品質を条件に、生成された画像の分布を高品質のサブドメインにシフトする。 このアプローチは、生成的多様性とコンテンツを保持しながら、主観的な研究によって確認されたように、複数の客観的指標に対して最大10%の改善を達成する。 さらに、IQA-Adapterは劣化モデルとして逆向きに使用することができ、低品質のスコアで条件付けられたときに徐々に歪んだ画像を生成する。 我々の品質認識手法はまた、IQAモデルの対角的ロバスト性に関する洞察を与え、生成モデルにおける品質条件付けの可能性とロバストIQA手法の重要性を浮き彫りにしている。

関連論文リスト

• GenzIQA: Generalized Image Quality Assessment using Prompt-Guided Latent Diffusion Models [7.291687946822539]
  最先端のNR-IQA手法の大きな欠点は、様々なIQA設定にまたがる一般化能力に制限があることである。 近年のテキスト・ツー・イメージ生成モデルでは,テキスト概念に関する細部から意味のある視覚概念が生成されている。 本研究では、学習可能な品質対応テキストプロンプトと画像のアライメントの程度を理解することにより、一般化されたIQAに対してそのような拡散モデルのデノベーションプロセスを利用する。
  論文  参考訳（メタデータ） (2024-06-07T05:46:39Z)
• Dual-Branch Network for Portrait Image Quality Assessment [76.27716058987251]
  ポートレート画像品質評価のためのデュアルブランチネットワーク(PIQA)を提案する。 我々は2つのバックボーンネットワーク(textiti.e., Swin Transformer-B)を使用して、肖像画全体と顔画像から高品質な特徴を抽出する。 我々は、画像シーンの分類と品質評価モデルであるLIQEを利用して、品質認識とシーン固有の特徴を補助的特徴として捉えている。
  論文  参考訳（メタデータ） (2024-05-14T12:43:43Z)
• Cross-IQA: Unsupervised Learning for Image Quality Assessment [3.2287957986061038]
  本稿では,視覚変換器(ViT)モデルに基づく非参照画像品質評価(NR-IQA)手法を提案する。 提案手法は,ラベルのない画像データから画像品質の特徴を学習することができる。 実験結果から,Cross-IQAは低周波劣化情報の評価において最先端の性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-07T13:35:51Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• Comparison of No-Reference Image Quality Models via MAP Estimation in Diffusion Latents [99.19391983670569]
  NR-IQAモデルは、画像強調のための最大後部推定(MAP)フレームワークにプラグイン可能であることを示す。 異なるNR-IQAモデルは異なる拡張イメージを誘導し、最終的には精神物理学的なテストを受ける。 これにより, NR-IQAモデルの比較を行う新たな計算手法が提案される。
  論文  参考訳（メタデータ） (2024-03-11T03:35:41Z)
• Q-Refine: A Perceptual Quality Refiner for AI-Generated Image [85.89840673640028]
  Q-Refineという品質改善手法を提案する。 画像品質評価(IQA)メトリクスを使用して、初めて精錬プロセスをガイドする。 忠実度と美的品質の両方からAIGIを最適化するための一般的な精錬機となる。
  論文  参考訳（メタデータ） (2024-01-02T09:11:23Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
  知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。 本研究では,変換器を用いた全参照IQAモデルの性能について検討する。 また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T10:21:08Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。