論文の概要: Corrective Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2512.15596v1
• Date: Wed, 17 Dec 2025 17:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:27.064463
• Title: Corrective Diffusion Language Models
• Title（参考訳）: 修正拡散言語モデル
• Authors: Shuibai Zhang, Fred Zhangzhi Peng, Yiheng Zhang, Jin Pan, Grigorios G. Chrysos,
• Abstract要約: 拡散言語モデルにおいて,不正確なトークンに低い信頼度を割り当て,正しいコンテンツを保持しながら反復的にそれらを洗練する能力として定義される補正行動について検討する。 本稿では,目に見える不正確なトークンを明示的に監視し,誤り認識の信頼性と目的の洗練を可能にする,修正指向のポストトレーニング原理を提案する。
• 参考スコア（独自算出の注目度）: 12.724100711773593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models are structurally well-suited for iterative error correction, as their non-causal denoising dynamics allow arbitrary positions in a sequence to be revised. However, standard masked diffusion language model (MDLM) training fails to reliably induce this behavior, as models often cannot identify unreliable tokens in a complete input, rendering confidence-guided refinement ineffective. We study corrective behavior in diffusion language models, defined as the ability to assign lower confidence to incorrect tokens and iteratively refine them while preserving correct content. We show that this capability is not induced by conventional masked diffusion objectives and propose a correction-oriented post-training principle that explicitly supervises visible incorrect tokens, enabling error-aware confidence and targeted refinement. To evaluate corrective behavior, we introduce the Code Revision Benchmark (CRB), a controllable and executable benchmark for assessing error localization and in-place correction. Experiments on code revision tasks and controlled settings demonstrate that models trained with our approach substantially outperform standard MDLMs in correction scenarios, while also improving pure completion performance. Our code is publicly available at https://github.com/zhangshuibai/CDLM.
• Abstract（参考訳）: 拡散言語モデルは、その非因果分解力学によりシーケンス内の任意の位置を修正できるため、反復的誤り訂正に構造的に適している。 しかし、標準マスク拡散言語モデル(MDLM)のトレーニングでは、信頼できないトークンを完全な入力で識別できない場合が多いため、この動作を確実に誘導することができない。 拡散言語モデルにおいて,不正確なトークンに低い信頼度を割り当て,正しいコンテンツを保持しながら反復的にそれらを洗練する能力として定義される補正行動について検討する。 本研究は,従来のマスク拡散目標によって誘導されるものではなく,目に見える不正なトークンを明示的に監督し,誤り認識の信頼性と目的の洗練を可能にする,修正指向のポストトレーニング原理を提案する。 訂正動作を評価するため,コード修正ベンチマーク (CRB) を導入する。 コード修正タスクと制御された設定の実験では、我々のアプローチで訓練されたモデルは、修正シナリオにおける標準MDLMよりも大幅に優れており、純粋な完了性能も向上している。 私たちのコードはhttps://github.com/zhangshuibai/CDLM.comで公開されています。

関連論文リスト

• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• Adapting Language Balance in Code-Switching Speech [60.296574524609575]
  大規模な基礎モデルは、コードスイッチングテストケースといまだに苦労しています。 我々は、世代間のコンテキストバイアスを軽減するために、微分可能なサロゲートを使用します。 アラビア語と中国語による実験では、モデルの切り替え位置をより正確に予測できることが示されている。
  論文  参考訳（メタデータ） (2025-10-21T15:23:55Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Conformal Linguistic Calibration: Trading-off between Factuality and Specificity [41.45862052156885]
  本稿では,言語プラグマティクスのレンズを通して,抑止と言語キャリブレーションを結合する枠組みを提案する。 以上の結果から,本手法は実精度に適合した精度で校正出力を生成する。
  論文  参考訳（メタデータ） (2025-02-26T13:01:49Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。