論文の概要: Cord: Confidence-Anchored Order Residual Decoding for Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2610.39372v1
- Date: Thu, 29 Oct 2026 05:03:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.041617
- Title: Cord: Confidence-Anchored Order Residual Decoding for Masked Diffusion Language Models
- Title（参考訳）: Cord: Masked Diffusion Language Modelの信頼度アンコール残差復号法
- Abstract要約: Cordは、信頼性の復号化を安定した参照として保持する軽量なプロンプト条件付きポリシーである。
生成方向の幾何的残差、明らかなコンテキストへの近接、および2面の埋め込みを通じて、いつ、どのように出発するかを学ぶ。
- 参考スコア（独自算出の注目度）: 15.688474582850148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The decoding order of masked diffusion language models (dLLMs) can substantially affect generation quality, yet common decoders typically apply the same reveal rule throughout generation. Confidence provides a strong default, but it measures how decisively a position can be predicted now, not how useful revealing that position will be for subsequent decoding. We propose Cord, a lightweight prompt-conditioned policy that retains confidence decoding as a stable reference and learns when and how to depart from it through geometric residuals over generation direction, proximity to revealed context, and two-sided infilling. The residuals adapt to both the prompt and the evolving partial response. Rather than sampling a new policy action at every decoding step, Cord samples a single low-dimensional coefficient matrix per rollout, which induces an entire state-dependent reveal trajectory. This yields a contextual-bandit formulation trained directly from sequence-level rewards, without step-level credit assignment or backbone updates. Across three dLLMs and five reasoning, code, and constraint-satisfaction benchmarks, Cord improves average task success from 32.0% under confidence decoding to 48.2%, and further improves over the best per-domain fixed residual. Behavioral audits show that the learned residuals induce substantial, task-dependent changes in reveal locality and two-sided infilling. Cord adds only $0.53$M trainable parameters, requires no additional backbone forward passes, and incurs only 5.39% inference latency overhead.
- Abstract（参考訳）: マスク拡散言語モデル(dLLM)の復号順序は、生成品質に大きく影響するが、一般的な復号器は、生成を通して同じ明らかな規則を適用する。
信頼性は強力なデフォルトを提供するが、現在の位置が決定的にどのように予測されるかを測定する。
信頼性復号を安定参照として保持し、生成方向上の幾何的残差、明らかにされた文脈への近接、および両側の埋め込みを通じて、いつ、どのように出発するかを学習する軽量なプロンプト条件付きポリシーであるCordを提案する。
残基はプロンプトと進化する部分応答の両方に適応する。
すべてのデコードステップで新しいポリシーアクションをサンプリングする代わりに、Cord氏はロールアウト毎に単一の低次元係数行列をサンプリングする。
これにより、ステップレベルのクレジット代入やバックボーン更新なしで、シーケンスレベルの報酬から直接トレーニングされたコンテキスト帯域の定式化が得られる。
3つのdLLMと5つの推論、コード、制約満足度ベンチマークで、Cordは平均タスク成功率を32.0%から48.2%に改善し、ドメインごとの固定残差を改善した。
行動監査では、学習された残留物は、局所性と両側の埋め込みを明らかにするために、実質的、タスク依存的な変化を引き起こすことが示された。
Cordはトレーニング可能なパラメータを0.53ドルで追加し、バックボーンのフォワードパスを必要とせず、5.39%の推論遅延オーバーヘッドしか発生しない。
関連論文リスト
- recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models [17.477704822494523]
recAMPLIFYは、AMPLIFY-350Mと同じ2Tトークンでトレーニングされた155Mのユニークなパラメータを持つpLMである。
CASPコンタクトリカバリを改善し、4つのうち3つを教師付きタスクとし、特に折りたたみ精度を22.5%向上させた。
GMR (Gated Mixture Recurrence) は、それぞれのタンパク質を、再帰中に訪れた隠れた状態の確率重み付け混合物からデコードする。
論文 参考訳（メタデータ） (2026-10-19T17:12:55Z) - Purify Before You Align: Improving Representation Alignment for Diffusion Models [51.67434264043717]
局所的な外観浄化(LAP)は、5つの事前訓練された表現における生成品質を改善する。
LAPはアライメントターゲットのみを変更し、拡散トレーニングや推論を変更する必要はない。
論文 参考訳（メタデータ） (2026-10-14T18:11:28Z) - Bayesian Entropy-based Reordering for Calibrated Diffusion Language Models [1.888263220307026]
我々は,トークンのコミットメントを導くために予測の不確実性を利用するポストホックベイズ復号フレームワークBayesERを紹介する。
そこで,BayesERは,一般的な復号方式と比較して精度を保ちつつ,シーケンスレベルの校正誤差を低減できることを示す。
論文 参考訳（メタデータ） (2026-10-04T11:13:21Z) - Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。
Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。
Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
論文 参考訳（メタデータ） (2026-09-29T07:58:49Z) - A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models [4.165512410177194]
拡散モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。
我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。
論文 参考訳（メタデータ） (2026-09-29T05:54:31Z) - Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。
本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。
RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文 参考訳（メタデータ） (2026-08-12T07:32:29Z) - Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。
本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
論文 参考訳（メタデータ） (2026-08-01T11:48:25Z) - When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
論文 参考訳（メタデータ） (2026-07-31T21:13:02Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。
WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。
NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文 参考訳（メタデータ） (2026-04-20T01:29:56Z) - DenoiseFlow: Uncertainty-Aware Denoising for Reliable LLM Agentic Workflows [20.319113495948294]
我々は多段階推論過程をノイズMDPとして定式化する。
DenoiseFlowは3つの調整段階を通じてプログレッシブなdenoisingを行うクローズドループフレームワークである。
論文 参考訳（メタデータ） (2026-02-28T08:11:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。