論文の概要: CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.08833v1
• Date: Mon, 28 Sep 2026 16:43:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 07:15:05.744881
• Title: CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models
• Title（参考訳）: CoDR:拡散言語モデルのためのトレーニング不要信頼度-ドリフトリマッシング
• Abstract要約: 信頼ドリフト・リマッシング (Confidence Drift Remasking, CoDR) は、訓練不要でサンプルを含まない改良パスである。 CoDRは、k-分割探索を通してk-前方通過のみの全てのコミット位置のドリフトを推定し、その後再マスクし、モデルがもはや支持しないトークンのみを再生する。 制御された実験は、余分な計算のみではなく、目標とする信頼性の低下による利得が示している。
• 参考スコア（独自算出の注目度）: 9.455202560797176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (MDLMs) decode by repeatedly committing tokens to masked positions, but these commitments are usually irreversible. A token chosen under sparse, partial context is kept fixed, even when later context no longer supports it. Existing samplers mainly decide when to commit a token, but rarely check whether an already committed token should still be kept, allowing early mistakes to propagate. We trace this issue to confidence drift, where the model's confidence in a committed token drops from its sparse commit-time context to the denser context available later. Based on this signal, we propose CoDR (Confidence Drift Remasking), a training-free and sampler-agnostic refinement pass. CoDR estimates drift for all committed positions in only k forward passes via k-partition probing, then remasks and regenerates only the tokens the model no longer endorses. Across two backbones, four reasoning and coding tasks, and three base samplers, CoDR improves average accuracy across all evaluated model-sampler configurations and improves most individual task settings with modest overhead. Controlled experiments show that the gains come from targeted confidence-drift remasking rather than extra compute alone, and that CoDR uses far fewer forward passes than prior remasking methods. Code is available at https://github.com/YueWu0301/CoDR.
• Abstract（参考訳）: マスク付き拡散言語モデル(MDLM)は、トークンをマスクされた位置に繰り返しコミットすることでデコードするが、これらのコミットメントは通常不可逆である。 スパースの下で選択されたトークンは、後続のコンテキストがサポートされなくなった場合でも、部分的なコンテキストは固定される。 既存のスケジューラは主にトークンをコミットするタイミングを決定するが、すでにコミットされているトークンが保持されているかどうかをチェックできないため、早期のミスが伝播する。 この問題は、コミットトークンに対するモデルの信頼性が、余分なコミットタイムコンテキストから、後から利用可能なより密集したコンテキストへと低下するという、信頼の漂いに遡る。 この信号に基づいて、トレーニング不要でサンプル非依存の精製パスであるCoDR(Confidence Drift Remasking)を提案する。 CoDRは、k-分割探索を通してk-前方通過のみの全てのコミット位置のドリフトを推定し、その後再マスクし、モデルがもはや支持しないトークンのみを再生する。 2つのバックボーン、4つの推論およびコーディングタスク、3つのベースサンプル、CoDRは評価されたモデルサンプラー構成の平均精度を改善し、最小限のオーバーヘッドでほとんどのタスク設定を改善する。 制御された実験により、この利得は余分な計算単独ではなく、目標の信頼性の低下によるものであり、CoDRは以前のリマキング法よりもはるかに少ないフォワードパスを使用することが示された。 コードはhttps://github.com/YueWu0301/CoDRで入手できる。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
  投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。 本稿では,これが新しい制御ハンドルを生成することを認識している。
  論文  参考訳（メタデータ） (2026-08-14T18:00:08Z)
• Re-evaluating Confidence Remasking in Masked Diffusion Language Models [13.69108579131071]
  代表的ポストホックリマキング手法であるWINOの実証的評価を再考する。 信頼に基づくリメイキングはエラーを軽減することができるが、信頼に基づくリメイキングのために以前報告された多様性の崩壊をさらに悪化させる。
  論文  参考訳（メタデータ） (2026-06-10T15:41:26Z)
• NAVIRA: Decoupled Stochastic Remasking for Masked Diffusion Language Models [0.0]
  PRISMはトークンレベルの品質スコアを学習し、信頼できないトークンを再マスクすることでこの問題に対処する。 この2つの操作を分離する推論時間復号法であるNAVIRAを提案する。 温度制御されたリメイキングは、同じ位置の繰り返し補正を減らす。
  論文  参考訳（メタデータ） (2026-06-04T11:24:47Z)
• The Path Matters: Learning a Token-Commitment Policy for Diffusion Language Models [52.93186090124315]
  トークンのコミットメントは、再利用可能なトレースステートポリシとして学ぶことができる、と私たちは主張する。 凍結拡散言語モデルのためにこのポリシーをインスタンス化する軽量プラグインコントローラであるTraceLockを紹介する。
  論文  参考訳（メタデータ） (2026-05-23T18:23:46Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。