論文の概要: How Transparent is DiffusionGemma?

• arxiv url: http://arxiv.org/abs/2606.20560v1
• Date: Thu, 18 Jun 2026 17:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:40.055521
• Title: How Transparent is DiffusionGemma?
• Title（参考訳）: DiffusionGemmaはいかに透明か?
• Abstract要約: LLM推論の透明性は、モデル決定を理解する上で重要な能力である。 また, DiffusionGemmaは, 対応する自己回帰的Gemma 4モデルよりも, 連続的な潜時空間で計算のかなりの部分を実行することを示した。 中間状態を解釈可能なものとして扱うと、不透明な直列深さはGemma 4の1.1倍になる。
• 参考スコア（独自算出の注目度）: 23.924817257547502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM reasoning transparency is a critical affordance for understanding model decisions, mitigating misuse and misalignment, and debugging surprising model behaviors. However, DiffusionGemma performs a larger fraction of its computation in a continuous latent space; does this make its reasoning less transparent? We study this question by decomposing transparency into two components: variable transparency, whether we understand intermediate snapshots of a model's computational state; and algorithmic transparency, whether we can use these snapshots to reconstruct the process by which the model arrived at its outputs. Naively, DiffusionGemma has poor variable transparency: its opaque serial depth, the amount of serial computation that occurs in between interpretable model states, seems at first 28.6X higher than the corresponding autoregressive Gemma 4 model. However, we show that we can map the information flowing between denoising steps through an interpretable token bottleneck with no decrease in downstream performance. Treating these intermediate states as interpretable reduces the opaque serial depth to just 1.1X that of Gemma 4. Algorithmic transparency is harder for diffusion models than for autoregressive models because all token predictions in the canvas can change at every denoising step, giving the model the power to implement complicated distributed algorithms during the denoising process. To begin bridging this gap, we conduct a suite of interpretability case studies, uncovering initial evidence of novel diffusion-specific phenomena such as non-chronological reasoning, token and sequence smearing, and intermediate-context reasoning. Finally, we test monitorability, a key application of transparency that measures whether model outputs are useful for downstream tasks. We find that DiffusionGemma is similarly monitorable to Gemma 4.
• Abstract（参考訳）: LLM推論の透明性は、モデル決定を理解し、誤用と修正を緩和し、驚くべきモデルの振る舞いをデバッグする上で、重要な機会である。 しかし、DiffusionGemmaはその計算の大部分を連続的な潜在空間で実行します。 本稿では,この問題を,変数透過性,モデルの計算状態の中間スナップショットを理解するか否か,モデルが出力に到達したプロセスの再構築にこれらのスナップショットを使用できるか,という2つのコンポーネントに分解して検討する。 DiffusionGemmaは、不透明なシリアル深度、解釈可能なモデル状態間で発生するシリアル計算の量は、対応する自己回帰的Gemma 4モデルよりもまず28.6倍高いように思われる。 しかし、ダウンストリーム性能を低下させることなく、解釈可能なトークンボトルネックを通じて、デノベーションステップ間で流れる情報をマッピングできることが示される。 これらの中間状態を解釈可能なものとして扱うと、不透明な直列深さはGemma 4の1.1倍に減少する。 アルゴリズムの透明性は、自動回帰モデルよりも拡散モデルにとって難しい。なぜなら、キャンバス内の全てのトークン予測は、デノナイジングステップ毎に変化し、デノナイジングプロセス中に複雑な分散アルゴリズムを実装する力を与えるからだ。 このギャップを埋めるために、我々は、非時間的推論、トークンとシーケンススミアリング、中間コンテキスト推論などの新しい拡散特異的現象の初期の証拠を明らかにする、解釈可能性に関する一連のケーススタディを実施している。 最後に、ダウンストリームタスクにモデル出力が有用かどうかを測定する透過性の重要な応用である監視可能性をテストする。 DiffusionGemma も Gemma 4 と同様に監視可能である。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Latent Shadows: The Gaussian-Discrete Duality in Masked Diffusion [22.034770068249063]
  マスク付き離散拡散は、トークンをマスク状態に反復的に劣化させる高品質言語モデリングにおいて支配的なパラダイムである。 拡散双対性は一様模型に対する決定論的蒸留を可能にするが、これらのアプローチは一般にマスク付き模型を過小評価し、複素積分作用素に依存する。 我々は、この双対性を利用する原理的フレームワークであるMasked Consistency Distillation (MCD)を導入し、数値ODEソルバをバイパスする。
  論文  参考訳（メタデータ） (2026-01-31T16:00:46Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• FlowDPS: Flow-Driven Posterior Sampling for Inverse Problems [51.99765487172328]
  逆問題解決のための後部サンプリングは,フローを用いて効果的に行うことができる。 Flow-Driven Posterior Smpling (FlowDPS) は最先端の代替手段よりも優れています。
  論文  参考訳（メタデータ） (2025-03-11T07:56:14Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)
• VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference [5.852077003870417]
  我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。 我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-28T05:35:36Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• DiffusionInst: Diffusion Model for Instance Segmentation [15.438504077368936]
  DiffusionInstはインスタンスをインスタンス認識フィルタとして表現する新しいフレームワークである。 RPNからの誘導バイアスを伴わずに、ノイズの多い基底構造を逆転するように訓練されている。 既存のインスタンスセグメンテーションモデルと比較して、競争力のあるパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-12-06T05:52:12Z)
• Subspace Diffusion Generative Models [4.310834990284412]
  スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。 データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。 私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
  論文  参考訳（メタデータ） (2022-05-03T13:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。