論文の概要: I2AM: Interpreting Image-to-Image Latent Diffusion Models via Attribution Maps
- arxiv url: http://arxiv.org/abs/2407.12331v1
- Date: Wed, 17 Jul 2024 06:15:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 18:17:30.669891
- Title: I2AM: Interpreting Image-to-Image Latent Diffusion Models via Attribution Maps
- Title(参考訳): I2AM:属性マップによる画像から画像への遅延拡散モデルの解釈
- Authors: Junseo Park, Hyeryung Jang,
- Abstract要約: 本稿では,パッチレベルのクロスアテンションスコアを集約し,潜時拡散モデルの解釈可能性を高めるイメージ・ツー・イメージマップI2AM法を提案する。
I2AMは、画像から画像への帰属分析を容易にし、拡散モデルが時間と頭において重要な特徴をどのように優先順位づけするかを観察できるようにする。
我々の理解をさらに深めるために、参照ベース画像の塗装作業に適した新しい評価基準を導入する。
- 参考スコア(独自算出の注目度): 8.195126516665914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale diffusion models have made significant advancements in the field of image generation, especially through the use of cross-attention mechanisms that guide image formation based on textual descriptions. While the analysis of text-guided cross-attention in diffusion models has been extensively studied in recent years, its application in image-to-image diffusion models remains underexplored. This paper introduces the Image-to-Image Attribution Maps I2AM method, which aggregates patch-level cross-attention scores to enhance the interpretability of latent diffusion models across time steps, heads, and attention layers. I2AM facilitates detailed image-to-image attribution analysis, enabling observation of how diffusion models prioritize key features over time and head during the image generation process from reference images. Through extensive experiments, we first visualize the attribution maps of both generated and reference images, verifying that critical information from the reference image is effectively incorporated into the generated image, and vice versa. To further assess our understanding, we introduce a new evaluation metric tailored for reference-based image inpainting tasks. This metric, measuring the consistency between the attribution maps of generated and reference images, shows a strong correlation with established performance metrics for inpainting tasks, validating the potential use of I2AM in future research endeavors.
- Abstract(参考訳): 大規模拡散モデルでは、特にテキスト記述に基づく画像形成を導くクロスアテンション機構を用いることにより、画像生成の分野で大きな進歩を遂げている。
近年, 拡散モデルにおけるテキスト誘導的相互注意の解析が盛んに行われているが, 画像間拡散モデルへの応用はいまだ検討されていない。
本稿では,時間ステップ,頭部,注意層をまたいだ潜伏拡散モデルの解釈可能性を高めるために,パッチレベルのクロスアテンションスコアを集約するイメージ・ツー・イメージ・アトリビューション・マップI2AM法を提案する。
I2AMは、参照画像から画像を生成する過程において、時間と頭によって拡散モデルがどのように重要な特徴を優先するかを観察する、詳細な画像から画像への帰属分析を容易にする。
広範にわたる実験を通して、生成画像と参照画像の両方の属性マップを視覚化し、参照画像からの臨界情報が生成画像に効果的に組み込まれていることを検証する。
我々の理解をさらに深めるために、参照ベース画像の塗装作業に適した新しい評価基準を導入する。
生成した画像の属性マップと参照画像の一貫性を計測するこの指標は、既存の性能指標との強い相関関係を示し、今後の研究におけるI2AMの活用の可能性を検証する。
関連論文リスト
- Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。
本研究では,既存のデータ拡張技術の欠点について検討する。
Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
論文 参考訳(メタデータ) (2024-03-28T17:23:45Z) - Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。
暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。
拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
論文 参考訳(メタデータ) (2024-03-17T01:27:00Z) - Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。
スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
論文 参考訳(メタデータ) (2024-03-12T00:02:03Z) - Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention
Regulation in Diffusion Models [23.786473791344395]
拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。
本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。
実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2024-03-11T02:18:27Z) - Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
遠方表現学習は、観測データ内の本質的要因を抽出する試みである。
我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。
これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
論文 参考訳(メタデータ) (2024-02-15T05:07:54Z) - EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。
低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。
大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
論文 参考訳(メタデータ) (2024-01-22T07:34:06Z) - Adversarial Examples are Misaligned in Diffusion Model Manifolds [7.979892202477701]
本研究は,拡散モデルのレンズによる敵攻撃の研究に焦点をあてる。
我々の焦点は、拡散モデルを利用して、画像に対するこれらの攻撃によって引き起こされる異常を検出し、分析することにある。
その結果、良性画像と攻撃画像とを効果的に識別できる顕著な能力が示された。
論文 参考訳(メタデータ) (2024-01-12T15:29:21Z) - Conditional Diffusion Models for Weakly Supervised Medical Image
Segmentation [18.956306942099097]
条件拡散モデル(CDM)は、特定の分布の対象となる画像を生成することができる。
我々は,対象対象物の予測マスクを取得するために,CDMに隠されたカテゴリ認識意味情報を利用する。
本手法は,2つの医用画像セグメンテーションデータセット上で,最先端のCAMおよび拡散モデル法より優れる。
論文 参考訳(メタデータ) (2023-06-06T17:29:26Z) - ADIR: Adaptive Diffusion for Image Reconstruction [46.838084286784195]
本研究では,拡散モデルによる事前学習を利用した条件付きサンプリング手法を提案する。
次に、事前学習した拡散分極ネットワークを入力に適応させる新しいアプローチと組み合わせる。
画像再構成手法の適応拡散は,超高解像度,デブロアリング,テキストベースの編集タスクにおいて,大幅な改善が達成されていることを示す。
論文 参考訳(メタデータ) (2022-12-06T18:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。