論文の概要: Mechanistic Interpretability of Diffusion Models: Circuit-Level Analysis and Causal Validation

• arxiv url: http://arxiv.org/abs/2506.17237v1
• Date: Wed, 04 Jun 2025 15:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-29 09:28:14.813294
• Title: Mechanistic Interpretability of Diffusion Models: Circuit-Level Analysis and Causal Validation
• Title（参考訳）: 拡散モデルの機械論的解釈可能性:回路レベル解析と因果検証
• Authors: Dip Roy,
• Abstract要約: 本稿では、拡散モデルの定量的回路レベル解析を行い、画像生成プロセスの基礎となる計算経路と力学原理を確立する。 我々の調査によると、現実世界の顔処理には計算の複雑さがかなり高いことが判明した。 これらの知見は、生成モデル機械的介入戦略のアルゴリズム的理解と制御のための定量的基盤を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a quantitative circuit-level analysis of diffusion models, establishing computational pathways and mechanistic principles underlying image generation processes. Through systematic intervention experiments across 2,000 synthetic and 2,000 CelebA facial images, we discover fundamental algorithmic differences in how diffusion architectures process synthetic versus naturalistic data distributions. Our investigation reveals that real-world face processing requires circuits with measurably higher computational complexity (complexity ratio = 1.084 plus/minus 0.008, p < 0.001), exhibiting distinct attention specialization patterns with entropy divergence ranging from 0.015 to 0.166 across denoising timesteps. We identify eight functionally distinct attention mechanisms showing specialized computational roles: edge detection (entropy = 3.18 plus/minus 0.12), texture analysis (entropy = 4.16 plus/minus 0.08), and semantic understanding (entropy = 2.67 plus/minus 0.15). Intervention analysis demonstrates critical computational bottlenecks where targeted ablations produce 25.6% to 128.3% performance degradation, providing causal evidence for identified circuit functions. These findings establish quantitative foundations for algorithmic understanding and control of generative model behavior through mechanistic intervention strategies.
• Abstract（参考訳）: 本稿では、拡散モデルの定量的回路レベル解析を行い、画像生成プロセスの基礎となる計算経路と力学原理を確立する。 2,000の合成および2000のCelebA顔画像に対する系統的な介入実験により、拡散アーキテクチャが合成と自然主義のデータ分布をどのように処理するかの基本的なアルゴリズム的差異を発見する。 本研究により,実世界の顔処理には計算複雑性の高い回路(複雑度比=1.084 +/minus 0.008, p < 0.001)が必要であることが明らかになった。 エッジ検出(エントロピー=3.18プラス/minus 0.12)、テクスチャ解析(エントロピー=4.16プラス/minus 0.08)、意味理解(エントロピー=2.67プラス/minus 0.15)である。 インターベンション分析は、ターゲットのアブレーションが25.6%から128.3%のパフォーマンス低下を引き起こす重要な計算ボトルネックを示し、特定回路関数の因果的証拠を提供する。 これらの知見は、機械的介入戦略による生成モデル行動のアルゴリズム的理解と制御のための定量的基盤を確立する。

関連論文リスト

• Process mining-driven modeling and simulation to enhance fault diagnosis in cyber-physical systems [5.065341495341096]
  CPS(Cyber-Physical Systems)の故障診断は,システムの信頼性と運用効率の確保に不可欠である。 本稿では, 時系列, プロセスマイニング, シミュレーションにおける集団異常検出を統合した, 教師なし故障診断手法を提案する。 これにより、予測保守と産業環境のためのデジタルツインの開発を支援する総合的なフォールト辞書の作成が可能になる。
  論文  参考訳（メタデータ） (2025-06-26T17:29:37Z)
• High-Dimensional Markov-switching Ordinary Differential Processes [23.17395115394655]
  まず, 離散サンプルから連続サンプル経路を復元し, プロセスのパラメータを推定する2段階アルゴリズムを開発した。 我々は,その過程が$beta$-mixingである場合の統計的誤差と線形収束保証に関する新しい理論的知見を提供する。 本モデルを用いて,ADHD群と正常制御群における静止状態脳ネットワークの差異について検討する。
  論文  参考訳（メタデータ） (2024-12-30T18:41:28Z)
• Identifying biological perturbation targets through causal differential networks [23.568795598997376]
  本稿では,生物学的システムの変更に責任を持つ変数を同定する因果性に着想を得たアプローチを提案する。 まず、観測データと干渉データからノイズの多い因果グラフを推定する。 次に、これらのグラフ間の差分を、追加の統計的特徴とともに、介入された変数の集合にマッピングすることを学ぶ。
  論文  参考訳（メタデータ） (2024-10-04T12:48:21Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• Simultaneous Image-to-Zero and Zero-to-Noise: Diffusion Models with Analytical Image Attenuation [53.04220377034574]
  高品質(未条件)な画像生成のための前方拡散プロセスに解析的画像減衰プロセスを導入することを提案する。 本手法は,フォワード画像からノイズへのマッピングを,テクスチメジからゼロへのマッピングとテクスティケロ・ツー・ノイズマッピングの同時マッピングとして表現する。 我々は,CIFAR-10やCelebA-HQ-256などの無条件画像生成や,超解像,サリエンシ検出,エッジ検出,画像インペインティングなどの画像条件下での下流処理について実験を行った。
  論文  参考訳（メタデータ） (2023-06-23T18:08:00Z)
• Learning to Bound Counterfactual Inference in Structural Causal Models from Observational and Randomised Data [64.96984404868411]
  我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。 新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。 反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
  論文  参考訳（メタデータ） (2022-12-06T12:42:11Z)
• Scalable Intervention Target Estimation in Linear Models [52.60799340056917]
  因果構造学習への現在のアプローチは、既知の介入目標を扱うか、仮説テストを使用して未知の介入目標を発見する。 本稿では、全ての介入対象を一貫して識別するスケーラブルで効率的なアルゴリズムを提案する。 提案アルゴリズムは、与えられた観測マルコフ同値クラスを介入マルコフ同値クラスに更新することも可能である。
  論文  参考訳（メタデータ） (2021-11-15T03:16:56Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。