論文の概要: Answer First, Reason Later: Commitment Order in Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2608.05687v1
• Date: Thu, 06 Aug 2026 07:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.708552
• Title: Answer First, Reason Later: Commitment Order in Diffusion LLMs
• Title（参考訳）: 第一に, 第二に, 拡散LDMにおけるコミット順序
• Abstract要約: マスケ拡散言語モデル(dLLM)は任意の順序でトークンをコミットすることができる。 推論タスクにおいて、この自由はむしろ失敗の軸であることを示す。
• 参考スコア（独自算出の注目度）: 8.902793668615567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked diffusion language models (dLLMs) can commit tokens in any order -- a freedom marketed as their core advantage over autoregressive decoding. We show that on reasoning tasks this freedom is instead the axis of failure. Logging every commitment during decoding of LLaDA-8B on GSM8K, we find that unconstrained (pure) decoding commits the final answer at 15-24% of the trajectory while half the reasoning region is still masked, and collapses to answer-only outputs on up to 90% of problems as the canvas grows. The cause is not the model's termination beliefs -- EOS "pressure" is nearly identical across decoders -- but reachability: whether the sampler may act on those beliefs at distant positions. A 2x2 prompt-decoder design shows that chain-of-thought helps only under ordered commitment (interaction +34.8 percentage points, 95% CI [26.8, 42.8]; without reasoning text the decoders are indistinguishable), an interaction we decompose into a collapse channel and an order channel and replicate on Dream-7B and MATH-500. A single-knob intervention -- frontier-gated commitment -- causally recovers the full gap (0.528 to 0.852) while preserving up to 4x parallel decoding, along a measured frontier whose optimal window flips from w=1 at full refinement to unconstrained at 8 tokens/step. Our results reframe existing window-style samplers, previously motivated by efficiency, as the minimal fix for a reasoning pathology they were never designed to address.
• Abstract（参考訳）: マスケード拡散言語モデル(dLLM)は任意の順序でトークンをコミットすることができる。 推論タスクにおいて、この自由はむしろ失敗の軸であることを示す。 GSM8K上でのLLaDA-8Bの復号時の全てのコミットメントをログすると、未制限(純粋な)復号化は軌道の15～24%で最終解をコミットし、推論領域の半分は隠蔽され、キャンバスが大きくなるにつれて最大90%の解のみの出力が崩壊する。 原因はモデルの終了信念ではなく、EOSの「圧力」はデコーダ間でほぼ同一であるが、到達可能性(サンプルが遠い位置でそれらの信念に作用するかどうか)である。 2x2プロンプトデコーダの設計は、チェーン・オブ・シークレットが順序付きコミットメント(インタラクション+34.8 パーセンテージポイント、95% CI [26.8, 42.8] )でしか役に立たないことを示している。 単一ノブの介入 --フロンティアゲートのコミットメント -- は、最大4倍の並列デコードを維持しながら、完全なギャップ(0.528から0.582)を因果的に回復する。 我々の結果は、以前は効率性によって動機づけられていた既存のウィンドウスタイルのサンプルを、それらが対処するように設計されていない理由付けの最小限の修正として再設計しました。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade [14.63102636181275]
  大規模言語モデル(LLM)エージェントは、既に失敗する運命にある複数ステップの軌道を継続することで、推論計算を無駄にすることが多い。 隠れ状態プローブを用いたLSMエージェントの早期故障予測と推定時早期停止について検討した。 LLMエージェント推論コストを削減するために,この信号をリコール制御された中止カスケードに変換する。
  論文  参考訳（メタデータ） (2026-07-07T17:03:55Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• LightThinker++: From Reasoning Compression to Memory Management [61.2260619973687]
  大きな言語モデル(LLM)は複雑な推論において優れているが、その効率は長い思考トレースの認知的オーバーヘッドの増加によって制限される。 LLMが動的に中間的思考をコンパクトな意味表現に圧縮できる方法であるLightThinkerを提案する。 私たちはフレームワークをLightThinker++に進化させ、Explicit Adaptive Memory Managementを導入しました。
  論文  参考訳（メタデータ） (2026-04-04T10:46:09Z)
• Re-Mask and Redirect: Exploiting Denoising Irreversibility in Diffusion Language Models [0.0]
  拡散言語モデル(dLLM)における安全性の整合性は、単一の負荷を持つ仮定に依存している。 コミットされた拒絶トークンを再マッシングし,短い肯定的接頭辞を注入することにより,HarmBench上で74～82%のASRが得られることを示す。 我々はこの攻撃をTrajHijackと呼び、これはdLLMに対する最初の軌道レベルの攻撃であり、計算を必要とせず、SFTモデルと優先最適化(VRPO)モデルにまたがって一般化する。
  論文  参考訳（メタデータ） (2026-03-17T02:24:37Z)
• Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States [28.663951525871756]
  本稿では、Latent Refinement Decoding (LRD) と予測フィードバックループを備えた2段階のフレームワークについて紹介する。 LRDは最大10.6倍のスピードアップを提供しながら精度を向上し、並列シーケンス生成の強力な代替手段となる。
  論文  参考訳（メタデータ） (2025-10-13T06:38:13Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
  推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。 本稿では,FoReaL-Decodingを提案する。 一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
  論文  参考訳（メタデータ） (2025-06-08T05:08:32Z)
• VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
  大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。 過度に考える傾向は、必然的に長い推論連鎖に繋がる。 我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T14:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。