論文の概要: DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing
- arxiv url: http://arxiv.org/abs/2606.15796v1
- Date: Sun, 14 Jun 2026 13:02:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.854784
- Title: DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing
- Title（参考訳）: DifFRACT:拡散特性の再構築と回路追跡への寄与
- Abstract要約: トランスコーダベースの回路トレースを多モード拡散変換器に拡張する。
属性結合とストリーム間セマンティックな伝搬のメカニズムを解明する。
本研究は,系統的な生成誤りの因果的説明を提供する。
- 参考スコア（独自算出の注目度）: 8.306039957986394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mechanistic interpretability seeks to explain neural network behavior by decomposing model computations into interpretable features and circuits. While transcoder-based circuit tracing has recently enabled detailed causal analyses of large language models, multimodal diffusion transformers for image generation remain comparatively opaque. We still lack tools for understanding how semantic information propagates across denoising steps and how text and image representations interact within double-stream MM-DiT architectures. Existing methods provide only partial insight: attention maps expose a limited view of token interactions, while sparse autoencoders can discover interpretable features but do not directly reveal how these features are transformed and composed through nonlinear MLP layers. In this work, we extend transcoder-based circuit tracing to multimodal diffusion transformers. We train timestep-conditioned transcoders that faithfully approximate the input-output behavior of MLP sublayers in FLUX.1[schnell]. By replacing MLPs with transcoders and linearizing the remaining computation, we obtain exact feature-to-feature attribution and recover compact, interpretable circuits. Empirically, our transcoders match or slightly outperform sparse autoencoders on the sparsity-faithfulness tradeoff. The resulting circuits reveal mechanisms underlying attribute binding and cross-stream semantic propagation, and provide causal explanations for systematic generation errors. Moreover, circuit-guided interventions are substantially more precise and effective than standard SAE-based steering. Our results demonstrate that transcoder-based circuit analysis is feasible for state-of-the-art diffusion transformers and provides a powerful framework for understanding and controlling multimodal generative models. The code is available at https://github.com/Artalmaz31/DifFRACT
- Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、モデル計算を解釈可能な特徴と回路に分解することで、ニューラルネットワークの振る舞いを説明する。
トランスコーダを用いた回路トレースにより,大規模言語モデルの詳細な因果解析が可能となったが,画像生成のためのマルチモーダル拡散変換器は比較的不透明である。
意味情報の伝達方法やテキストと画像の表現が両ストリームMM-DiTアーキテクチャ内でどのように相互作用するかを理解するためのツールがまだ存在しない。
注意マップはトークン相互作用の限られたビューを露出するが、スパースオートエンコーダは解釈可能な特徴を発見できるが、これらの特徴がどのように変換され、非線形MLP層を通して構成されるかを直接は明らかにしない。
本研究では,トランスコーダを用いた回路トレースを多モード拡散変換器に拡張する。
FLUX.1[schnell]におけるMLPサブレイヤの入力出力挙動を忠実に近似する時間ステップ条件トランスコーダを訓練する。
MLPをトランスコーダに置き換え、残りの計算を線形化することにより、正確な特徴-特徴属性を取得し、コンパクトで解釈可能な回路を復元する。
経験的に、我々のトランスコーダはスパース・フェイルフルネストレードオフにおいてスパース・オートエンコーダにマッチするか、わずかに上回っている。
得られた回路は、属性結合とストリーム間のセマンティックな伝播のメカニズムを明らかにし、系統的な生成エラーの因果的説明を提供する。
さらに、サーキットガイドによる介入は、標準的なSAEベースのステアリングよりもかなり正確で効果的である。
以上の結果から,トランスコーダを用いた回路解析は最先端の拡散変換器で実現可能であり,マルチモーダル生成モデルの理解と制御のための強力なフレームワークを提供する。
コードはhttps://github.com/Artalmaz31/DifFRACTで公開されている。
関連論文リスト
- Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models [7.425292797106273]
生成的視覚言語モデル(VLM)は多モーダル推論においてよく機能するが、視覚入力がテキストにどのように変換されるかは理解されていない。
我々はトランスコーダに基づく関数中心のフレームワークを採用し、レイヤワイドの因果プロキシとして機能するサブレイヤのスパース近似を採用した。
本稿では,関数中心回路の分解により,VLMにおけるマルチモーダル計算の解釈と予測が可能であることを示す。
論文 参考訳（メタデータ） (2026-05-21T17:34:39Z) - Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers [54.2202951543048]
視覚変換器の計算グラフから有用なメカニスティック回路を同定できるかどうかを検討する。
分類のためのクラス固有の回路を復元するビジュアル・サーキット・ディスカバリー(Vi-CD)の効果的な手法を提案する。
これらのモデルの内部計算に透明性を加えることで、視覚変換器から洞察に富み、行動可能なエッジベース回路を復元できることが判明した。
論文 参考訳（メタデータ） (2026-04-15T23:25:46Z) - Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳（メタデータ） (2026-01-09T12:49:41Z) - A Transformer Inspired AI-based MIMO receiver [0.5039813366558306]
AttDetの設計は、モデルベースの解釈可能性とデータ駆動の柔軟性を組み合わせる。
5Gチャネルモデルと高次混合QAM変調および符号化方式のリンクレベルシミュレーションによる実演を行う。
AttDetは予測可能で現実的な複雑さを維持しながら、ほぼ最適のBER/BLERパフォーマンスにアプローチすることができる。
論文 参考訳（メタデータ） (2025-10-23T09:05:10Z) - TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation [41.909091496502704]
拡散トランスフォーマー(Diffusion Transformers, DiTs)は、強力なが未探索な生成モデルのクラスである。
解釈可能な拡散変換を行うためのTIDE-Temporal-aware sparse Autoencodersを提案する。
論文 参考訳（メタデータ） (2025-03-10T08:35:51Z) - ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
ACDiTはブロックワイド条件拡散変換器である。
トークン単位の自己回帰とフルシーケンス拡散のフレキシブルな関係を提供する。
本稿では,映像生成タスクにおける自己回帰ベースラインの中で,ACDiTが最良であることを示す。
論文 参考訳（メタデータ） (2024-12-10T18:13:20Z) - Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。
本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。
本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
論文 参考訳（メタデータ） (2024-08-11T07:01:39Z) - Transcoders Find Interpretable LLM Feature Circuits [1.4254279830438588]
サブレイヤを通して回路解析を行うためにトランスコーダを用いる新しい手法を提案する。
120M, 410M, 1.4Bパラメータを持つ言語モデル上でトランスコーダを訓練し, 疎さ, 忠実さ, 人間の解釈可能性の観点から, 少なくともSAEに匹敵する性能を示す。
論文 参考訳（メタデータ） (2024-06-17T17:49:00Z) - Transformers need glasses! Information over-squashing in language tasks [18.81066657470662]
復号器のみの変換器における情報伝達について検討する。
変換器への入力の特定のシーケンスは、最終的なトークンにおいて任意にクローズな表現が得られることを示す。
また,デコーダのみのトランスフォーマー言語モデルでは,入力中の特定のトークンに対する感度が低下することを示す。
論文 参考訳（メタデータ） (2024-06-06T17:14:44Z) - Cross-receptive Focused Inference Network for Lightweight Image
Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。
動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。
我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文 参考訳（メタデータ） (2022-07-06T16:32:29Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。