論文の概要: Self-Generated Error Training for Token Editing in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.17175v1
• Date: Mon, 15 Jun 2026 18:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.091715
• Title: Self-Generated Error Training for Token Editing in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおけるトークン編集のための自己生成誤り訓練
• Authors: Lin Yao,
• Abstract要約: Token-to-Token (T2T) 編集により、LLaDA2.1はブロック拡散復号時にコミットトークンを修正できる。 このトレーニング推論ミスマッチについて検討し、自己生成型T2Tを提案する。
• 参考スコア（独自算出の注目度）: 0.6916773850242582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token-to-token (T2T) editing lets LLaDA2.1 revise committed tokens during block-diffusion decoding. The released recipe trains this editor on random vocabulary corruptions, but at inference the editor sees the model's own fluent, high-confidence draft errors instead. We study this training-inference mismatch and propose self-generated T2T, which performs a no-gradient draft pass, fills masked positions with predicted tokens, and supervises recovery in a second pass under these self-generated corruptions. We implement the update as a short LoRA continued-pretraining pass on LLaDA2.1-mini and evaluate on several benchmarks under the official Q-Mode T2T procedure with unchanged inference parameters. The method generally improves accuracy while reducing T2T edit intensity, mitigating failure modes such as final-digit transcription errors after otherwise correct reasoning and excessive self-correction before short factual answers.
• Abstract（参考訳）: Token-to-Token (T2T) 編集により、LLaDA2.1はブロック拡散復号時にコミットトークンを修正できる。 リリースされたレシピは、このエディターをランダムな語彙の破損で訓練するが、推測すると、エディターは、代わりに、モデル自身の流動的で高信頼のドラフトエラーを見る。 本研究では,このトレーニング推論ミスマッチについて検討し,非段階的なドラフトパスを実行し,マスクされた位置を予測トークンで埋める自己生成型T2Tを提案する。 この更新はLLaDA2.1-mini上でのLoRA継続事前学習パスとして実装され、推論パラメータが変化しない公式のQ-Mode T2Tプロシージャでいくつかのベンチマークで評価される。 この方法は一般的に、T2T編集強度を低下させながら精度を向上し、他の方法では正しい推論をした後、最終桁の書き起こし誤りなどの失敗モードを軽減し、短い事実回答の前に過度な自己補正を行う。

関連論文リスト

• TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM [18.69783590125584]
  拡散大言語モデル(dLLM)は、並列テキスト生成に有望なパラダイムを提供する。 彼らは精度のパラレルなトレードオフに直面しており、1フォワード当たりのトークンの増加は世代品質を劣化させることが多い。 既存の加速法は精度を犠牲にして速度を上げることが多い。 本稿では, 時間認識型自己蒸留フレームワークTADを提案する。
  論文  参考訳（メタデータ） (2026-05-10T13:38:53Z)
• Remask, Don't Replace: Token-to-Mask Refinement in Masked Diffusion Language Models [0.6916773850242582]
  LLaDA2.1のような仮設拡散言語モデルは、自身の生成エラーを修正するためにToken-to-Token編集に依存している。 本稿では,その位置をマスク状態にリセットするToken-to-Mask(T2M)再マスクを提案する。 8つのベンチマークで、T2Mは正確なトークンレベルの出力を必要とするタスクの精度を改善する。
  論文  参考訳（メタデータ） (2026-04-20T18:43:28Z)
• Targeted Remasking: Replacing Token Editing with Token-to-Mask Refinement in Discrete Diffusion Language Models [0.6916773850242582]
  LLaDA2.1は、生成を高速化するToken-to-Token (T2T)編集機構を導入した。 本稿では,T2T編集の学習不要でドロップインの代替品であるToken-to-Mask(T2M)を提案する。 T2Mは、疑わしいトークンをマスク状態にリセットし、拡散過程がよりクリーンなコンテキスト下でそれらを再予測することを可能にする。
  論文  参考訳（メタデータ） (2026-04-06T17:39:11Z)
• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Converge to the Truth: Factual Error Correction via Iterative Constrained Editing [30.740281040892086]
  最小限の編集で事実誤り訂正(FEC)を行う新しい手法であるVENCEを提案する。 VENCEは、FEC問題を目標密度関数に対する反復サンプリング編集動作として定式化する。 公開データセットでの実験では、VENCEは以前の最遠距離で監督された手法よりもよく測定されたSARIの基準を5.3(または11.8%の相対的な改善)改善している。
  論文  参考訳（メタデータ） (2022-11-22T10:03:13Z)
• FastCorrect 2: Fast Error Correction on Multiple Candidates for Automatic Speech Recognition [92.12910821300034]
  本稿では,複数のASR候補を入力として取り込んだ誤り訂正モデルFastCorrect 2を提案する。 FastCorrect 2は、カスケードされた再描画と修正パイプラインよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-09-29T13:48:03Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Neural Machine Translation with Error Correction [40.61399972202611]
  我々は,NMTに誤り訂正機構を導入し,前回生成したトークンの誤り情報を補正し,次のトークンをより正確に予測する。 具体的には、XLNetからの2ストリームの自己アテンションをNMTデコーダに導入し、クエリストリームを使用して次のトークンを予測する。 トレーニング中の予測誤差をシミュレーションするために,スケジュールされたサンプリングを利用する。
  論文  参考訳（メタデータ） (2020-07-21T09:41:07Z)
• Adversarial Transfer Learning for Punctuation Restoration [58.2201356693101]
  句読点予測のためのタスク不変知識を学習するために,逆多タスク学習を導入する。 IWSLT2011データセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2020-04-01T06:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。