論文の概要: How Transparent is DiffusionGemma?

• arxiv url: http://arxiv.org/abs/2606.20560v1
• Date: Thu, 18 Jun 2026 17:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:40.055521
• Title: How Transparent is DiffusionGemma?
• Title（参考訳）: DiffusionGemmaはいかに透明か?
• Authors: Joshua Engels, Callum McDougall, Bilal Chughtai, Janos Kramar, Senthoran Rajamanoharan, Cindy Wu, Arthur Conmy, Asic Q Chen, Jean Tarbouriech, Min Ma, Brendan O'Donoghue, João Gabriel Lopes de Oliveira, Rohin Shah, Neel Nanda,
• Abstract要約: LLM推論の透明性は、モデル決定を理解する上で重要な能力である。 また, DiffusionGemmaは, 対応する自己回帰的Gemma 4モデルよりも, 連続的な潜時空間で計算のかなりの部分を実行することを示した。 中間状態を解釈可能なものとして扱うと、不透明な直列深さはGemma 4の1.1倍になる。
• 参考スコア（独自算出の注目度）: 23.924817257547502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM reasoning transparency is a critical affordance for understanding model decisions, mitigating misuse and misalignment, and debugging surprising model behaviors. However, DiffusionGemma performs a larger fraction of its computation in a continuous latent space; does this make its reasoning less transparent? We study this question by decomposing transparency into two components: variable transparency, whether we understand intermediate snapshots of a model's computational state; and algorithmic transparency, whether we can use these snapshots to reconstruct the process by which the model arrived at its outputs. Naively, DiffusionGemma has poor variable transparency: its opaque serial depth, the amount of serial computation that occurs in between interpretable model states, seems at first 28.6X higher than the corresponding autoregressive Gemma 4 model. However, we show that we can map the information flowing between denoising steps through an interpretable token bottleneck with no decrease in downstream performance. Treating these intermediate states as interpretable reduces the opaque serial depth to just 1.1X that of Gemma 4. Algorithmic transparency is harder for diffusion models than for autoregressive models because all token predictions in the canvas can change at every denoising step, giving the model the power to implement complicated distributed algorithms during the denoising process. To begin bridging this gap, we conduct a suite of interpretability case studies, uncovering initial evidence of novel diffusion-specific phenomena such as non-chronological reasoning, token and sequence smearing, and intermediate-context reasoning. Finally, we test monitorability, a key application of transparency that measures whether model outputs are useful for downstream tasks. We find that DiffusionGemma is similarly monitorable to Gemma 4.
• Abstract（参考訳）: LLM推論の透明性は、モデル決定を理解し、誤用と修正を緩和し、驚くべきモデルの振る舞いをデバッグする上で、重要な機会である。 しかし、DiffusionGemmaはその計算の大部分を連続的な潜在空間で実行します。 本稿では,この問題を,変数透過性,モデルの計算状態の中間スナップショットを理解するか否か,モデルが出力に到達したプロセスの再構築にこれらのスナップショットを使用できるか,という2つのコンポーネントに分解して検討する。 DiffusionGemmaは、不透明なシリアル深度、解釈可能なモデル状態間で発生するシリアル計算の量は、対応する自己回帰的Gemma 4モデルよりもまず28.6倍高いように思われる。 しかし、ダウンストリーム性能を低下させることなく、解釈可能なトークンボトルネックを通じて、デノベーションステップ間で流れる情報をマッピングできることが示される。 これらの中間状態を解釈可能なものとして扱うと、不透明な直列深さはGemma 4の1.1倍に減少する。 アルゴリズムの透明性は、自動回帰モデルよりも拡散モデルにとって難しい。なぜなら、キャンバス内の全てのトークン予測は、デノナイジングステップ毎に変化し、デノナイジングプロセス中に複雑な分散アルゴリズムを実装する力を与えるからだ。 このギャップを埋めるために、我々は、非時間的推論、トークンとシーケンススミアリング、中間コンテキスト推論などの新しい拡散特異的現象の初期の証拠を明らかにする、解釈可能性に関する一連のケーススタディを実施している。 最後に、ダウンストリームタスクにモデル出力が有用かどうかを測定する透過性の重要な応用である監視可能性をテストする。 DiffusionGemma も Gemma 4 と同様に監視可能である。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)
• VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference [5.852077003870417]
  我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。 我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-28T05:35:36Z)
• DiffusionInst: Diffusion Model for Instance Segmentation [15.438504077368936]
  DiffusionInstはインスタンスをインスタンス認識フィルタとして表現する新しいフレームワークである。 RPNからの誘導バイアスを伴わずに、ノイズの多い基底構造を逆転するように訓練されている。 既存のインスタンスセグメンテーションモデルと比較して、競争力のあるパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-12-06T05:52:12Z)
• Subspace Diffusion Generative Models [4.310834990284412]
  スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。 データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。 私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
  論文  参考訳（メタデータ） (2022-05-03T13:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。