論文の概要: Emergence and Evolution of Interpretable Concepts in Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.15473v1
• Date: Mon, 21 Apr 2025 22:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-01 01:07:58.728948
• Title: Emergence and Evolution of Interpretable Concepts in Diffusion Models
• Title（参考訳）: 拡散モデルにおける解釈可能な概念の創発と進化
• Authors: Berk Tinaz, Zalan Fabian, Mahdi Soltanolkotabi,
• Abstract要約: 我々はスパースオートエンコーダ(SAE)を用いて、人気のあるテキスト・画像拡散モデルの内部動作を探索する。 第1逆拡散段階が完了する前にも、シーンの最終的な構成は驚くほどよく予測できることがわかった。 得られた概念がモデル出力に因果的影響を及ぼし、生成過程を制御できることを示す。
• 参考スコア（独自算出の注目度）: 24.5360032541275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have become the go-to method for text-to-image generation, producing high-quality images from noise through a process called reverse diffusion. Understanding the dynamics of the reverse diffusion process is crucial in steering the generation and achieving high sample quality. However, the inner workings of diffusion models is still largely a mystery due to their black-box nature and complex, multi-step generation process. Mechanistic Interpretability (MI) techniques, such as Sparse Autoencoders (SAEs), aim at uncovering the operating principles of models through granular analysis of their internal representations. These MI techniques have been successful in understanding and steering the behavior of large language models at scale. However, the great potential of SAEs has not yet been applied toward gaining insight into the intricate generative process of diffusion models. In this work, we leverage the SAE framework to probe the inner workings of a popular text-to-image diffusion model, and uncover a variety of human-interpretable concepts in its activations. Interestingly, we find that even before the first reverse diffusion step is completed, the final composition of the scene can be predicted surprisingly well by looking at the spatial distribution of activated concepts. Moreover, going beyond correlational analysis, we show that the discovered concepts have a causal effect on the model output and can be leveraged to steer the generative process. We design intervention techniques aimed at manipulating image composition and style, and demonstrate that (1) in early stages of diffusion image composition can be effectively controlled, (2) in the middle stages of diffusion image composition is finalized, however stylistic interventions are effective, and (3) in the final stages of diffusion only minor textural details are subject to change.
• Abstract（参考訳）: 拡散モデルは、逆拡散と呼ばれるプロセスを通じてノイズから高品質な画像を生成する、テキスト・ツー・イメージ生成のゴーツーメソッドとなっている。 逆拡散過程の力学を理解することは、生成を操り、高い試料品質を達成するために重要である。 しかし、拡散モデルの内部構造は、ブラックボックスの性質と複雑な多段階生成過程のため、いまだに謎である。 スパースオートエンコーダ(SAE)のような機械的解釈可能性(MI)技術は、内部表現の粒度解析を通じてモデルの動作原理を明らかにすることを目的としている。 これらのMI技術は,大規模言語モデルの振る舞いの理解と評価に成功している。 しかし、SAEsの大きなポテンシャルは拡散モデルの複雑な生成過程の洞察を得るためにはまだ適用されていない。 本研究では、SAEフレームワークを利用して、一般的なテキスト・画像拡散モデルの内部動作を探索し、そのアクティベーションにおける様々な人間の解釈可能な概念を明らかにする。 興味深いことに、第1の逆拡散段階が完了する前にも、活性化された概念の空間分布を見て、シーンの最終的な構成を驚くほどよく予測できることが分かる。 さらに, 相関解析を超越して, 得られた概念がモデル出力に因果効果を持ち, 生成過程を制御できることを示す。 画像合成とスタイルの操作を目的とした介入手法を設計し、(1)拡散画像合成の初期段階において効果的に制御できること、(2)拡散画像合成の中期において最終段階において、様式的介入が効果的であること、(3)拡散の最終段階において、微小なテクスチュラルな詳細しか変更されないことを示す。

関連論文リスト

• Dual Diffusion for Unified Image Generation and Understanding [32.7554623473768]
  マルチモーダル理解と生成のための大規模かつ完全なエンドツーエンド拡散モデルを提案する。 我々は、画像とテキストの条件付き確率を同時にトレーニングするクロスモーダル最大推定フレームワークを活用する。 我々のモデルは、最近の統合画像理解・生成モデルと比較して、競争性能が向上した。
  論文  参考訳（メタデータ） (2024-12-31T05:49:00Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  ACDiTはブロックワイド条件拡散変換器である。 トークン単位の自己回帰とフルシーケンス拡散のフレキシブルな関係を提供する。 本稿では,映像生成タスクにおける自己回帰ベースラインの中で,ACDiTが最良であることを示す。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• Taming Diffusion Prior for Image Super-Resolution with Domain Shift SDEs [36.65594293655289]
  DoSSRは、事前訓練された拡散モデルの生成力を生かしたドメインシフト拡散に基づくSRモデルである。 このアプローチの核となるのは、既存の拡散モデルとシームレスに統合されるドメインシフト方程式です。 提案手法は, 合成および実世界のデータセットに対して, 5つのサンプリングステップしか必要とせず, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-26T12:16:11Z)
• Merging and Splitting Diffusion Paths for Semantically Coherent Panoramas [33.334956022229846]
  本稿では,Merge-Attend-Diffuse演算子を提案する。 具体的には、拡散経路をマージし、自己および横断的意図をプログラムし、集約された潜在空間で操作する。 提案手法は,生成した画像の入力プロンプトと視覚的品質との整合性を維持しつつ,セマンティック・コヒーレンスを増大させる。
  論文  参考訳（メタデータ） (2024-08-28T09:22:32Z)
• LDFaceNet: Latent Diffusion-based Network for High-Fidelity Deepfake Generation [6.866014367868788]
  本稿ではLDFaceNet(Latent Diffusion based Face Swapping Network)と呼ばれる新しい顔交換モジュールを提案する。 これは、条件付き認知過程に顔分割と顔認識モジュールを利用するガイド付き潜伏拡散モデルに基づいている。 本研究の結果から,提案手法は極めて現実的でコヒーレントな画像を生成することができることが示された。
  論文  参考訳（メタデータ） (2024-08-04T16:09:04Z)
• ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
  本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。 我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-03-21T17:52:08Z)
• On the Multi-modal Vulnerability of Diffusion Models [56.08923332178462]
  本稿では,MMP-Attackによる拡散モデル生成結果の操作について,特定の接尾辞を元のプロンプトに付加することで提案する。 我々のゴールは、拡散モデルを誘導し、元のオブジェクトを同時に除去しながら特定のオブジェクトを生成することである。
  論文  参考訳（メタデータ） (2024-02-02T12:39:49Z)
• Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model [60.27825196999742]
  本稿では,B2A-HDMと呼ばれる新しい階層型拡散モデルを提案する。 特に、低次元ラテント空間における基本拡散モデルは、テキスト記述と整合した中間偏微分結果を与える。 高次元ラテント空間における高度な拡散モデルは、以下の詳細エンハンス・デノナイジング過程に焦点をあてる。
  論文  参考訳（メタデータ） (2023-12-18T06:30:39Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later [1.8416014644193066]
  画像生成の基盤となる逆拡散過程には,以下の特性がある。 個々の軌道は低次元であり、2次元回転に似ている」。 本手法は,事前学習したモデルに対する画像生成の初期フェーズを正確に記述する。
  論文  参考訳（メタデータ） (2023-03-04T20:08:57Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。