論文の概要: Interpreting Large Text-to-Image Diffusion Models with Dictionary Learning

• arxiv url: http://arxiv.org/abs/2505.24360v1
• Date: Fri, 30 May 2025 08:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.860239
• Title: Interpreting Large Text-to-Image Diffusion Models with Dictionary Learning
• Title（参考訳）: 辞書学習による大規模テキスト・画像拡散モデルの解釈
• Authors: Stepan Shabalin, Ayush Panda, Dmitrii Kharlapenko, Abdur Raheem Ali, Yixiong Hao, Arthur Conmy,
• Abstract要約: Sparse Autoencoders (SAEs) と Inference-Time Decomposition of Activation (ITDA) をテキスト・画像拡散モデル Flux 1 に適用する。 SAEは、残りのストリーム埋め込みを正確に再構築し、解釈可能性でニューロンを打ち負かす。 私たちはITDAがSAEに匹敵する解釈性を持っていることに気付きました。
• 参考スコア（独自算出の注目度）: 2.191281369664666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders are a promising new approach for decomposing language model activations for interpretation and control. They have been applied successfully to vision transformer image encoders and to small-scale diffusion models. Inference-Time Decomposition of Activations (ITDA) is a recently proposed variant of dictionary learning that takes the dictionary to be a set of data points from the activation distribution and reconstructs them with gradient pursuit. We apply Sparse Autoencoders (SAEs) and ITDA to a large text-to-image diffusion model, Flux 1, and consider the interpretability of embeddings of both by introducing a visual automated interpretation pipeline. We find that SAEs accurately reconstruct residual stream embeddings and beat MLP neurons on interpretability. We are able to use SAE features to steer image generation through activation addition. We find that ITDA has comparable interpretability to SAEs.
• Abstract（参考訳）: スパースオートエンコーダは、解釈と制御のために言語モデルのアクティベーションを分解する、有望な新しいアプローチである。 視覚変換器画像エンコーダや小型拡散モデルに応用されている。 Inference-Time Decomposition of Activations (ITDA) は、最近提案された辞書学習の変種であり、辞書をアクティベーション分布からデータポイントのセットとし、勾配追従でそれらを再構築する。 本稿では,Sparse Autoencoders (SAE) と ITDA を大規模テキスト・画像拡散モデル Flux 1 に適用し,視覚的自動解釈パイプラインを導入することにより,双方の埋め込みの解釈可能性を検討する。 SAEは残流埋め込みを正確に再構築し,MLPニューロンを解釈しやすさで打ち負かすことが判明した。 SAE機能を使って、アクティベーション付加による画像生成を操ることができます。 私たちはITDAがSAEに匹敵する解釈性を持っていることに気付きました。

関連論文リスト

• TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation [34.73820805875123]
  TIDE (Temporal-aware Sparse Autoencoders for Interpretable Diffusion transformErs) は,DiTアクティベーション層内の時間的再構築を段階的に促進する新しいフレームワークである。 TIDEはスパースオートエンコーダ(SAE)とスパースボトルネック層を使用して、解釈可能かつ階層的な特徴を抽出する。 提案手法は,1e-3の平均2乗誤差(MSE)とコサイン類似度(0.97。
  論文  参考訳（メタデータ） (2025-03-10T08:35:51Z)
• One-Step is Enough: Sparse Autoencoders for Text-to-Image Diffusion Models [26.244291553761503]
  我々は、数ステップのテキスト・画像拡散モデルであるSDXL Turboの解釈可能な機能を学ぶためにSAEを訓練する。 学習した特徴は解釈可能であり、生成プロセスに因果的に影響を与え、ブロック間の特殊化を明らかにする。 本研究は,テキスト・画像拡散モデルにおけるSAEの解釈可能性に関する最初の研究である。
  論文  参考訳（メタデータ） (2024-10-28T19:01:18Z)
• MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image Translation by Prompts Redescription and Beyond [57.14128305383768]
  拡散モデル(MirrorDiffusion)における音源と再構成画像のミラー効果を実現するための素早い再記述手法を提案する。 MirrorDiffusionはゼロショット画像変換ベンチマークの最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-01-06T14:12:16Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
  本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。 DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。 CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
  論文  参考訳（メタデータ） (2023-03-17T04:20:47Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• Semantic-Conditional Diffusion Networks for Image Captioning [116.86677915812508]
  画像キャプションに適した拡散モデルに基づく新しいパラダイム,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。 SCD-Netでは、複数の拡散変換器構造を積み重ねて、より優れた視覚言語アライメントと言語的コヒーレンスで出力文を徐々に強化する。 COCOデータセットの実験は、困難な画像キャプションタスクにおいて拡散モデルを使用することの有望な可能性を示している。
  論文  参考訳（メタデータ） (2022-12-06T16:08:16Z)
• What the DAAM: Interpreting Stable Diffusion Using Cross Attention [39.97805685586423]
  大規模拡散ニューラルネットワークは、テキスト・画像生成において重要なマイルストーンである。 説明可能性の欠如と解釈可能性の分析は、主にプロプライエタリでクローズドソースな性質のため、理解に乏しいままである。 本稿では,潜伏するサブネットワークにおけるクロスアテンションアクティベーションのアップスケーリングと集約に基づく新しい手法であるDAAMを提案する。 DAAMは,61.0のmIoUを達成し,キャプション生成画像に対して強く作用し,オープン語彙セグメンテーションにおける教師付きモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:55:41Z)
• IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces [6.574517227976925]
  IntroVACは、追加ラベルから情報を活用することで、解釈可能な潜在部分空間を学習する。 IntroVACは、画像属性の微調整を可能にする潜在空間における意味のある方向を学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-03T10:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。