論文の概要: Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.09303v1
• Date: Sun, 10 May 2026 04:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.179677
• Title: Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models
• Title（参考訳）: 経路依存型Denoising:拡散言語モデルにおける次数崩壊の非保守的視野
• Authors: Jeonseong Kim,
• Abstract要約: 拡散言語モデル(DLM)は自己回帰生成の代替となる構造を提供する。 高速DLM復号法は命令に強く敏感であり、しばしば自己回帰的な軌道に向かってドリフトする。 順序付き擬似結合と局所的認知循環を定義することで、この見解を定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) offer a structural alternative to autoregressive generation: denoising can update tokens in arbitrary orders or in parallel rather than along a fixed left-to-right chain. In practice, fast DLM decoding remains strongly order-sensitive and often drifts toward autoregressive-like trajectories. We trace this tension to compatibility. At each reverse-time step, a DLM provides local denoising conditionals over the unresolved tokens. Arbitrary-order denoising becomes well defined when these local conditionals compose into order-invariant pseudo-joints. We formalize this view by defining order-induced pseudo-joints and a local denoising circulation: the log-ratio between the two pseudo-joints obtained by swapping a pair of unresolved positions. This circulation is zero under compatible conditionals, and global order gaps decompose into sums of local circulations along adjacent swaps. We further separate incompatibility-driven path dependence from conditional-dependence error in parallel updates and from order-specific estimation error. The resulting framework provides inference-only diagnostics for testing when DLM decoding is genuinely order-free.
• Abstract（参考訳）: 拡散言語モデル(DLMs)は、自己回帰生成の代替として、任意の順序で、あるいは、固定された左から右へのチェーンではなく、平行にトークンを更新することができる。 実際には、高速DLM復号法は秩序に敏感であり、しばしば自己回帰的な軌道に向かって漂流する。 この緊張関係は互換性まで遡る。 各リバースタイムステップでは、DLMは未解決トークンに対する局所的な記述条件を提供する。 これらの局所条件が順序不変な擬共役に構成されるとき、任意順序分解はよく定義される。 この見解は, 順序付き擬似接合と局所復調循環を定義することで定式化される: 二つの擬似接合間の対数比は, 一対の未解決位置を交換することによって得られる。 この循環は、互換性のある条件下でゼロであり、大域的な順序ギャップは、隣接するスワップに沿った局所循環の和に分解される。 さらに、並列更新における条件依存誤差と順序特異的な推定誤差とから、不整合性駆動経路依存を分離する。 結果として得られるフレームワークは、DLMデコーディングが真に順序なしである場合に、テストのための推論のみの診断を提供する。

関連論文リスト

• Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models [54.16797570104461]
  拡散ベースの言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。 時間軸に沿った推論ダイナミクスを系統的に解析し, dLLMの非自己回帰復号化について検討した。
  論文  参考訳（メタデータ） (2026-04-12T10:26:41Z)
• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention [0.0]
  Zonkeyは階層的な拡散モデルであり、生文字から文書レベルの表現まで、完全にトレーニング可能なパイプラインを通じて制限に対処する。 コアとなるのは、確率的開始順序(BOS)決定を学習する、差別化可能なトークンである。 Zonkeyは、ノイズからコヒーレントで可変長のテキストを生成し、創発的な階層を示す。
  論文  参考訳（メタデータ） (2026-01-29T14:17:37Z)
• CANDI: Hybrid Discrete-Continuous Diffusion Models [36.61898210733147]
  ノイズが離散的なデータの分解を2つのメカニズムで示す: 離散的なアイデンティティの破損と連続的なランクの劣化である。 離散的・連続的な腐敗を分離するハイブリッドフレームワークであるCANDIを提案する。 これは離散空間に対する連続拡散の利点を解放する。
  論文  参考訳（メタデータ） (2025-10-26T03:24:31Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。