論文の概要: Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens

• arxiv url: http://arxiv.org/abs/2606.16847v1
• Date: Mon, 15 Jun 2026 15:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.667006
• Title: Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens
• Title（参考訳）: 遅延ロードマップの追従:アンカートークン付き拡散LDMの回避可能なデコーディング
• Authors: Yizhen Yao, Qinglin Zhu, Runcong Zhao, Xiangxiang Dai, Yanzheng Xiang, Yulan He, Lin Gui,
• Abstract要約: 本稿では,組込み空間内で動作するトレーニングフリーフレームワークASRDを提案する。 我々はASRDが最近のリメイキングベースラインを上回り、最大6.4%の精度向上を実現し、推論スループットを最大7.2倍に向上させることを示した。
• 参考スコア（独自算出の注目度）: 22.687236570529844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Large Language Models (dLLMs) offer a promising avenue for parallel generation but face a trade-off between decoding speed and quality. While revocable decoding strategies attempt to mitigate errors by verifying and remasking tokens, they typically operate within a mixed-quality context. This leads to two critical failures: \textit{Error Propagation}, where new tokens absorb toxic information from erroneous context, and \textit{Local Error Reinforcement}, where errors mutually reinforce each other to evade detection. To alleviate these challenges, we propose ASRD (Anchor Supervised Revocable Decoding), a training-free framework that operates within the embedding space. ASRD explicitly decouples the decoding context into trusted \textit{Anchor Tokens}, which are identified via temporal consistency, and uncertain candidates. Leveraging a dynamic Anchor Tokens Cache, we introduce two complementary mechanisms: (1) Anchor-Guided Generation, which injects entropy-weighted anchor signals into masked positions to implicitly rectify attention toward the reliable global skeleton; and (2) Anchor-Perturbed Verification, which applies orthogonal perturbations to uncertain candidate tokens, destabilizing and remasking errors driven by fragile local consensus. Extensive experiments on math and coding benchmarks demonstrate that ASRD outperforms recent remasking baselines, achieving accuracy improvements of up to 6.4\% while accelerating inference throughput by up to 7.2$\times$.
• Abstract（参考訳）: Diffusion Large Language Models (dLLMs)は並列生成のための有望な道を提供するが、デコード速度と品質のトレードオフに直面している。 取り消し可能なデコード戦略はトークンの検証とリメイキングによってエラーを軽減しようとするが、通常は混合品質のコンテキストで機能する。 これは、新しいトークンが誤ったコンテキストから有害情報を吸収する \textit{Error Propagation} と、エラーが相互に補強して検出を回避する \textit{Local Error Reinforcement} という2つの重要な失敗につながります。 これらの課題を軽減するため,組込み空間内で動作するトレーニングフリーフレームワークであるASRD(Anchor Supervised Revocable Decoding)を提案する。 ASRDは、デコードコンテキストを、時間的一貫性と不確実な候補によって識別される信頼された \textit{Anchor Tokens} に明示的に分離する。 動的アンカートークンキャッシュを活用することで,(1)エントロピー重み付きアンカー信号をマスクした位置に注入し,信頼性の高いグローバルスケルトンに対する注意を暗黙的に補正するアンカーガイド生成,(2)不確定なトークンに対して直交摂動を適用し,脆弱な局所的なコンセンサスによって引き起こされるエラーを安定化・再マッシングするアンカー動作検証,という2つの補完メカニズムを導入する。 数学とコーディングのベンチマークに関する大規模な実験は、ASRDが最近のリマキングベースラインより優れており、推論スループットを最大7.2$\times$に加速させながら、最大6.4\%の精度向上を実現していることを示している。

関連論文リスト

• NAVIRA: Decoupled Stochastic Remasking for Masked Diffusion Language Models [0.0]
  PRISMはトークンレベルの品質スコアを学習し、信頼できないトークンを再マスクすることでこの問題に対処する。 この2つの操作を分離する推論時間復号法であるNAVIRAを提案する。 温度制御されたリメイキングは、同じ位置の繰り返し補正を減らす。
  論文  参考訳（メタデータ） (2026-06-04T11:24:47Z)
• Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
  AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。 AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
  論文  参考訳（メタデータ） (2026-06-02T21:35:54Z)
• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• Stability-Weighted Decoding for Diffusion Language Models [8.670026899042483]
  既存のデコード戦略は、1つのデノナイジングステップで計算された静的な信頼度に依存し、時間的履歴を無視し、不安定なトークンを早めに解き放つ。 本研究では,時間的安定性をトークンスコアリングに組み込んだ学習自由なプラグアンドプレイ戦略であるStable-Weighted Decoding(SWD)を提案し,任意のスコアベースのデコーディングポリシーのためのユニバーサルモジュレータとして機能する。
  論文  参考訳（メタデータ） (2026-04-18T17:04:10Z)
• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model [99.16364381244445]
  現代の言語モデル(LM)は、トレーニングデータの一部を記憶し、動詞のスパンを出力する傾向がある。 提案するAnchored Decodingは,動詞の模倣を抑えるためのプラグアンドプレイ推論時間法である。 本手法は,著作権リスクとユーティリティの長期評価において,6組のモデルペアで評価する。
  論文  参考訳（メタデータ） (2026-02-06T19:00:14Z)
• DAWN: Dependency-Aware Fast Inference for Diffusion LLMs [25.499655803741103]
  拡散大言語モデル (dLLM) はテキスト生成の利点を示している。 既存の推論ソリューションは保守的な並列戦略を採用しており、かなりの効率性は未探索のままである。 本稿では,高速なdLLM推論のためのDAWNを提案する。
  論文  参考訳（メタデータ） (2026-02-06T18:51:29Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。