論文の概要: Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2607.01774v1
• Date: Thu, 02 Jul 2026 06:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.702503
• Title: Subliminal Clocks: Latent Time Modelling in Diffusion Language Models
• Title（参考訳）: サブリミナルクロック:拡散言語モデルにおける潜時モデリング
• Authors: Maximo Rulli, Thomas Fontanari, Simone Petruzzi, Federico Alvetreti, Giorgio Strano, Donato Crisostomi, Giorgos Nikolaou, Tommaso Mencattini, Andrea Santilli, Emanuele Rodolà, Simone Scardapane, Alessio Devoto,
• Abstract要約: Diffusion Language Models (DLMs) は自己回帰モデルに代わる有望な代替品として登場した。 本稿では, DLM が残留ストリーム内の拡散時間ステップに関連する潜時表現を符号化していることを示す。 さらに、推定時間ステップに付随する低次元部分空間に沿ってモデルをステアリングすることで、デノゲーションプログレスの概念を体系的に調整できることを実証する。
• 参考スコア（独自算出の注目度）: 19.412917551000742
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Diffusion Language Models (DLMs) have recently emerged as a promising alternative to autoregressive models. Unlike standard diffusion-based approaches, DLMs are not explicitly conditioned on a timestep, raising a natural question: do these models internally represent denoising progress, and how is such information used downstream? In this work, we show that DLMs do in fact encode a latent representation related to the diffusion timestep within their residual streams. We find that this signal can be reliably extracted using probes across layers, indicating that denoising progress is decodable from internal activations. We further demonstrate that steering the model along a low-dimensional subspace associated with the inferred timestep allows us to systematically modulate its notion of denoising progress, leading to predictable changes in model confidence and entropy. Finally, we analyse the geometry of the identified representation, showing that it exhibits structured and interpretable properties in activation space, and shedding light on how such a signal is processed by these models.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、最近自己回帰モデルに代わる有望な代替品として登場した。 標準拡散に基づくアプローチとは異なり、DLMは時間ステップで明示的に条件付けられておらず、自然な疑問を提起する。 本研究では, DLM が残留ストリーム内の拡散時間ステップに関連する潜在表現を符号化していることを示す。 この信号は, 層間プローブを用いて確実に抽出できることから, 内部のアクティベーションから進行を逸脱できることを示す。 さらに、推定時間ステップに付随する低次元部分空間に沿ってモデルをステアリングすることで、デノゲーション・プログレスの概念を体系的に調整し、モデル信頼性とエントロピーの予測可能な変化をもたらすことを実証する。 最後に、同定された表現の幾何学を解析し、活性化空間における構造的かつ解釈可能な性質を示し、そのような信号がこれらのモデルによってどのように処理されるかを示す。

関連論文リスト

• Learned Relay Representations for Forward-Thinking Discrete Diffusion Models [34.17541648016911]
  本稿では,ラウンド間のハードリセットを回避するために,Learned Relay Representations (Relay)を提案する。 Relayは、フォワードパス間で情報を渡し、時間の経過とともに切り捨てられたバックプロパゲーションを通じてトレーニングされる、差別化可能なパートークンチャネルを導入している。 Relayは最先端の拡散言語モデル(DLM)に拡張可能であり、ブロック拡散やKVキャッシングといった技術とシームレスに互換性があることを示す。
  論文  参考訳（メタデータ） (2026-05-21T18:53:22Z)
• One-step Language Modeling via Continuous Denoising [36.18484491074519]
  本研究では,フローベース連続デノゲーションを利用した言語モデルが,品質と速度の両面で離散拡散よりも優れていることを示す。 我々の研究は、離散拡散過程は離散モダリティ上の生成的モデリングに必要である、という広く支持されている仮説に疑問を投げかける。
  論文  参考訳（メタデータ） (2026-02-18T19:23:07Z)
• The Entropic Signature of Class Speciation in Diffusion Models [12.212582407125089]
  雑音状態が与えられた潜在意味変数のクラス条件エントロピーを追跡することで、遷移状態の信頼できるシグネチャが得られることを示す。 EDM2-XS と安定拡散 1.5 では,クラス条件エントロピーが意味構造形成に不可欠なノイズ機構を一貫して分離する。
  論文  参考訳（メタデータ） (2026-02-10T10:56:46Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
  FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。 時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
  論文  参考訳（メタデータ） (2025-06-01T19:55:33Z)
• Simple and Critical Iterative Denoising: A Recasting of Discrete Diffusion in Graph Generation [0.0]
  中間ノイズ状態間の依存関係は、逆ノイズ化プロセス中にエラーの蓄積と伝播を引き起こす。 本稿では, 離散拡散を単純化し, 問題を回避し, 簡易反復分解という新しい枠組みを提案する。 実験により,提案手法はグラフ生成タスクにおいて既存の離散拡散ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-27T15:08:58Z)
• Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
  動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。 科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-03-02T16:10:32Z)
• Continuous Diffusion Model for Language Modeling [64.7425225935854]
  離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。 本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
  拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。 遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
  論文  参考訳（メタデータ） (2024-06-21T01:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。