論文の概要: Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.10567v1
• Date: Sun, 12 Apr 2026 10:26:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.103999
• Title: Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models
• Title（参考訳）: 早期決定事項:非自己回帰拡散言語モデルにおける近性バイアスと初期軌道形成
• Authors: Jiyeon Kim, Sungik Choi, Yongrae Jo, Moontae Lee, Minjoon Seo,
• Abstract要約: 拡散ベースの言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。 時間軸に沿った推論ダイナミクスを系統的に解析し, dLLMの非自己回帰復号化について検討した。
• 参考スコア（独自算出の注目度）: 54.16797570104461
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion-based language models (dLLMs) have emerged as a promising alternative to autoregressive language models, offering the potential for parallel token generation and bidirectional context modeling. However, harnessing this flexibility for fully non-autoregressive decoding remains an open question, particularly for reasoning and planning tasks. In this work, we investigate non-autoregressive decoding in dLLMs by systematically analyzing its inference dynamics along the temporal axis. Specifically, we uncover an inherent failure mode in confidence-based non-autoregressive generation stemming from a strong proximity bias-the tendency for the denoising order to concentrate on spatially adjacent tokens. This local dependency leads to spatial error propagation, rendering the entire trajectory critically contingent on the initial unmasking position. Leveraging this insight, we present a minimal-intervention approach that guides early token selection, employing a lightweight planner and end-of-sequence temperature annealing. We thoroughly evaluate our method on various reasoning and planning tasks and observe substantial overall improvement over existing heuristic baselines without significant computational overhead.
• Abstract（参考訳）: 拡散ベースの言語モデル(dLLM)は、自動回帰言語モデルに代わる有望な代替として登場し、並列トークン生成と双方向コンテキストモデリングの可能性を秘めている。 しかし、この柔軟性を完全に非自己回帰的復号化に活用することは、特に推論や計画タスクにおいて、未解決の問題である。 本研究では,dLLMの非自己回帰デコーディングについて,時間軸に沿った推論ダイナミクスを系統的に解析することによって検討する。 具体的には、強い近接バイアスから生じる信頼に基づく非自己回帰生成における固有の障害モードを明らかにする。 この局所的な依存は空間的誤差の伝播を招き、軌道全体は初期アンマスク位置で臨界的に停止する。 この知見を生かして、我々は初期トークン選択をガイドする最小限の介入アプローチを提案し、軽量プランナーとシーケンス終了温度アニールを用いる。 提案手法を様々な推論・計画タスクにおいて徹底的に評価し,計算オーバーヘッドを伴わずに既存のヒューリスティックベースラインに対する大幅な総合的な改善を観察する。

関連論文リスト

• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages [7.728607011076579]
  強化学習は、自己回帰言語モデル(AR)の訓練後において有効であるが、これらの手法を拡散言語モデル(DLM)に拡張することは、難易度が高いため困難である。 拡散に基づくシーケンス生成を有限水平マルコフ決定過程としてデノベーション軌道上で定式化し、正確な偏りのない政策勾配を導出する。 コーディングと論理的推論ベンチマークの実験は、数学的推論に強い競争性能を持つ最先端の結果を示している。
  論文  参考訳（メタデータ） (2026-03-13T01:38:44Z)
• KnowDiffuser: A Knowledge-Guided Diffusion Planner with LM Reasoning and Prior-Informed Trajectory Initialization [8.04458701181863]
  KnowDiffuserは知識誘導型モーションプランニングフレームワークである。 言語モデルの意味的理解と拡散モデルの生成力を統合する。 これは、オープンループとクローズループの両方の評価において、既存のプランナーを著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-11T05:45:29Z)
• Stop-Think-AutoRegress: Language Modeling with Latent Diffusion Planning [21.39971739444485]
  STAR-LDMは「思考」フェーズを組み込んでおり、継続する前に拡散を通じて意味的な計画を洗練するために生成を一時停止する。 評価の結果,STAR-LDMは言語理解ベンチマークにおいて類似のモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2026-02-24T04:09:31Z)
• From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
  このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。 3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。 この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
  論文  参考訳（メタデータ） (2026-01-22T06:21:31Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Elucidated Rolling Diffusion Models for Probabilistic Weather Forecasting [52.6508222408558]
  Eucidated Rolling Diffusion Models (ERDM)を紹介する。 ERDMはEucidated Diffusion Models (EDM) の原理的, 性能的設計とローリング予測構造を統一する最初のフレームワークである 2D Navier-StokesシミュレーションとERA5グローバル気象予報の1.5円解像度では、ERDMはキー拡散ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-06-24T21:44:31Z)
• Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models [0.0]
  エラーは均一に分散されていないが、重要な決定ジャンクションを表すスパースな"キートークン"に集中していることを示す。 本稿では,意味的に重要なトークンを選択的に保存することを目的とした次世代システムのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:57:31Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。