論文の概要: Learning When Diffusion Language Models Should Regenerate
- arxiv url: http://arxiv.org/abs/2611.17320v1
- Date: Thu, 12 Nov 2026 18:58:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.600562
- Title: Learning When Diffusion Language Models Should Regenerate
- Title(参考訳): 拡散言語モデルが再生すべきときの学習
- Abstract要約: DiVRは、部分的に生成されたシーケンスが正しい答えに達するかどうかを予測する検証器である。
微調整された発電機の平均精度は35.3%から43.4%に上昇し、1.9$-$3.5times$である。
- 参考スコア(独自算出の注目度): 5.893109297454639
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Remasking allows diffusion language models to revisit generated text, but effective correction requires knowing when and what to revise. Our diagnosis on Sudoku reveals two gaps. Hidden states contain error information that token confidence does not reliably expose, and remasking an isolated error usually reproduces it when the surrounding context remains fixed. These findings motivate DiVR , a verifier that predicts whether a partially generated sequence will reach a correct answer. Trained on the final correctness of the model's own trajectories, DiVR decides when to regenerate a block and which alternative to retain, while the generator itself stays unchanged. On five reasoning benchmarks with LLaDA-8B-Base, DiVR raises the average accuracy of the fine-tuned generator from 35.3\% to 43.4\% at $1.9$-$3.5\times$ the cost of greedy decoding, above search baselines that use $3.8$-$7.4\times$. It also complements post-training such as supervised fine-tuning and reinforcement learning, and generalizes to other generators, including Dream.
- Abstract(参考訳): リマキングは拡散言語モデルで生成したテキストを再検討することを可能にするが、効果的な修正にはいつ、何を修正するかを知る必要がある。
Sudokuの診断には2つのギャップがある。
隠れた状態には、トークンの信頼性が確実に露呈しないエラー情報が含まれており、分離されたエラーを再現することは、周囲のコンテキストが固定されたままでそれを再現するのが普通である。
これらの発見は、部分的に生成されたシーケンスが正しい答えに達するかどうかを予測する検証器であるDiVRを動機付けている。
モデル自身の軌道の最終的な正しさに基づいてトレーニングされたDiVRは、いつブロックを再生するか、どのブロックを保持すべきかを判断するが、ジェネレータ自身は変わらない。
LLaDA-8Bベースを用いた5つの推論ベンチマークにおいて、DiVRは細調整されたジェネレータの平均精度を35.3\%から43.4\%に1.9$-$3.5\times$3.8$-$7.4\times$に引き上げた。
また、教師付き微調整や強化学習などのポストトレーニングを補完し、ドリームを含む他の発電機に一般化する。
関連論文リスト
- Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models [54.47588263857889]
推論モデルは、計画、導出、検証など、異なる振る舞いにまたがるテスト時間計算を割り当てます。
トークンの予算やステアリングのような既存の介入は、特定の行動をターゲットにするのではなく、推論期間を規制する。
我々は,Mixture-of-Expertsルータが,動作制御のための自然な,トレーニング不要なインターフェースを提供することを示した。
論文 参考訳(メタデータ) (2026-11-04T04:13:02Z) - A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models [4.165512410177194]
拡散モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。
我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。
論文 参考訳(メタデータ) (2026-09-29T05:54:31Z) - LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models [10.134323514272955]
拡散言語モデルは、最終回答が生成される前に中間軌跡を露呈し、反復的妄想を通じてテキストを生成する。
我々は,解答が不正確な値の周囲で早期に安定し,相当な解答が残っている場合に,繰り返し発生する理性障害,安定に反するロックインを同定する。
LOCKRは隠れ状態の軌道誘導型プランナーであり、いつ追加計算を割り当てるかを決定する。
論文 参考訳(メタデータ) (2026-09-23T01:35:24Z) - When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
論文 参考訳(メタデータ) (2026-07-31T21:13:02Z) - Encoder-Decoder Manifold Alignment for Idempotent Generation [51.959208893243776]
この失敗の主な理由は、エンコーダとデコーダによって学習された多様体間の幾何学的ミスマッチである。
我々は、エンコーダとデコーダに同じ基礎となるデータ多様体の一貫性のある表現を学習させ、このギャップを明示的に埋める新しいトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-21T02:14:37Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。
まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。
この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
論文 参考訳(メタデータ) (2025-10-22T06:58:55Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。