論文の概要: When Confidence Misleads: Suffix Anchoring and Anchor-Proximity Confidence Modulation for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.28181v1
• Date: Wed, 27 May 2026 09:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.916689
• Title: When Confidence Misleads: Suffix Anchoring and Anchor-Proximity Confidence Modulation for Diffusion Language Models
• Title（参考訳）: 信頼の過ち:拡散言語モデルのための接尾辞アンカリングとアンカー・プロクシミティ信頼の変調
• Authors: Jungwon Park, Jimyeong Kim, Jungmin Ko, Nojun Kwak, Wonjong Rhee,
• Abstract要約: 信頼度が完全に非自己回帰的(主に非AR)デコーディングを誤解させる場合について検討する。 本稿では,デコード進行に応じてアンカー近傍の信頼度を変調する訓練不要なSuffix-Anchored Confidence Modulationを提案する。 提案手法は信頼性に基づく完全非AR復号化を一貫して改善し,EOT抑制性能に優れ,完全非AR生成の並列復号化の利点を保っている。
• 参考スコア（独自算出の注目度）: 36.19429911715776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models decode text by iteratively denoising masked token sequences, making the choice of which positions to decode a central inference-time decision. Most training-free decoding strategies use model confidence for position selection, assuming that high-confidence positions are ready to be decoded. In this work, we revisit this assumption by studying when confidence misleads fully non-autoregressive (fully non-AR) decoding. EOT tokens can receive high confidence and cause incomplete generation; inserting a suffix anchor can mitigate this issue but introduces local overconfidence near the anchor, causing anchor-adjacent tokens to be decoded too early. To address these issues, we propose Suffix-Anchored Confidence Modulation, a simple training-free method that inserts a short suffix anchor to encourage response completion and modulates confidence near the anchor according to decoding progress. This preserves the response-completion benefit of suffix anchoring while reducing premature decoding of anchor-adjacent tokens. Across text-only reasoning, vision-language reasoning, and code-generation benchmarks, our method consistently improves confidence-based fully non-AR decoding, outperforms explicit EOT suppression, and preserves the parallel decoding advantage of fully non-AR generation.
• Abstract（参考訳）: 拡散言語モデルは、マスキングトークンシーケンスを反復的にデコードすることでテキストをデコードし、中央の推論時間決定をデコードする位置を選択する。 トレーニング不要なデコード戦略の多くは、高信頼の位置がデコードされる準備が整っていると仮定して、位置選択にモデル信頼性を使用する。 本研究では、信頼度が完全に非自己回帰的(主に非AR)デコーディングを誤解させる場合の研究により、この仮定を再考する。 EOTトークンは信頼性が高く、不完全な生成を引き起こす可能性がある。サフィックスアンカーを挿入することでこの問題を軽減することができるが、アンカー付近で局所的な過信が生じ、アンカー隣接トークンのデコードが早すぎる。 これらの問題に対処するために,短いサフィックスアンカーを挿入して応答を促進し,デコード進行に応じてアンカー近傍の信頼性を変調する,簡易な訓練自由度変調法であるSuffix-Anchored Confidence Modulationを提案する。 これにより、サフィックスアンカーの応答-補完の利点を保ちつつ、アンカー・アジャセントトークンの早期デコードを減らすことができる。 本手法は,テキストのみの推論,視覚言語推論,コード生成ベンチマークなどを通じて,信頼性に基づく完全非AR復号化を一貫して改善し,明示的なEOT抑制を克服し,完全非AR生成の並列復号性を保っている。

関連論文リスト

• Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning [58.331709210563616]
  サブトラクションによる思考は、信頼主導のコントラスト的デコーディングアプローチである。 低信頼トークンの小さなサブセットは、誤りの推論と不要な出力拡大に不当に寄与する。 信頼駆動型コントラストデコーディング(Confidence-Driven Contrastive Decoding)は,デコーディング中の低信頼トークンを検出し,それらの位置で介入する。
  論文  参考訳（メタデータ） (2026-02-20T14:13:22Z)
• Search or Accelerate: Confidence-Switched Position Beam Search for Diffusion Language Models [24.78455014605002]
  拡散言語モデルは、マスキングシーケンスを反復的に認知することでテキストを生成する。 標準復号法は強欲な規則に従っており、最も自信のある位置を解き放つ。 トレーニング不要なデコードアルゴリズムであるSOARをモデルの不確実性に適応させる。
  論文  参考訳（メタデータ） (2026-02-11T15:41:09Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Deferred Commitment Decoding for Diffusion Language Models with Confidence-Aware Sliding Windows [33.361153168706444]
  トレーニング不要なデコード戦略として,Dederred Commitment Decoding (DCD)を提案する。 DCDは、マスクされたトークンの上に信頼性を意識したスライディングウィンドウを保持しており、十分な文脈証拠が得られるまで、高い不確実性トークンを延期しながら、早期に低不確実性トークンを解決している。 実験の結果、DCDは固定ブロックベースの拡散法に比べて平均時間で1.39%向上し、最も顕著な改善は9.0%に達した。
  論文  参考訳（メタデータ） (2026-01-05T12:57:33Z)
• From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models [19.97248408121574]
  Diffusion Language Models (DLMs) は並列デコードにより高速な推論速度で同等の精度を提供する。 高信頼トークンは無視可能な情報を持ち、それらに厳密に依存することで、各デコードラウンドにおける効果的な進捗を制限する。 本研究では,情報スループットと復号効率を最大化する学習自由復号法であるExplore-Then-Exploit (ETE)を提案する。
  論文  参考訳（メタデータ） (2025-11-26T06:38:37Z)
• Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [42.737012213197865]
  AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。 AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。 AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
  論文  参考訳（メタデータ） (2025-06-10T16:49:46Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。