論文の概要: Remask, Don't Replace: Token-to-Mask Refinement in Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.18738v1
• Date: Mon, 20 Apr 2026 18:43:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.428086
• Title: Remask, Don't Replace: Token-to-Mask Refinement in Masked Diffusion Language Models
• Title（参考訳）: Remask, Don't Change: Token-to-Mask Refinement in Masked Diffusion Language Models
• Authors: Lin Yao,
• Abstract要約: LLaDA2.1のような仮設拡散言語モデルは、自身の生成エラーを修正するためにToken-to-Token編集に依存している。 本稿では,その位置をマスク状態にリセットするToken-to-Mask(T2M)再マスクを提案する。 8つのベンチマークで、T2Mは正確なトークンレベルの出力を必要とするタスクの精度を改善する。
• 参考スコア（独自算出の注目度）: 0.6916773850242582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked diffusion language models such as LLaDA2.1 rely on Token-to-Token (T2T) editing to correct their own generation errors: whenever a different token crosses a confidence threshold, the committed token is overwritten. We identify three structural failure modes of this rule. The trigger cannot fire when no single alternative is confident enough; the replacement is computed under a context that may itself contain errors; and the uniform perturbations used to train the T2T stream do not resemble the coherent, semantically plausible mistakes that the model actually makes at inference. As an alternative, we propose Token-to-Mask (T2M) remasking. Rather than overwriting a suspect token with a new guess, T2M resets the position to the mask state, so that the next denoising step re-predicts it from an in-distribution context. The method is training-free, modifies only the editing rule, and introduces no new parameters. We pair it with three detection heuristics and give a short theoretical account of why a mask is a better conditioning signal than an erroneous token. Across 8 benchmarks, T2M improves accuracy on tasks that require exact token-level output. Its largest gain is +5.92 points on CMATH, where we attribute 79.9% of baseline errors to last-mile corruption (correct reasoning followed by a garbled final answer); T2M repairs 41.3% of these cases.
• Abstract（参考訳）: LLaDA2.1のようなマスケード拡散言語モデルは、トークンが信頼しきい値を超えた場合、コミットトークンが上書きされるように、自身の生成エラーを修正するためにToken-to-Token (T2T)の編集に依存している。 この規則の3つの構造的故障モードを同定する。 また、T2Tストリームをトレーニングするのに使用される均一な摂動は、モデルが推論時に実際に行う一貫性のある意味論的に妥当な誤りに似ていない。 代替として,Token-to-Mask (T2M) のリマキングを提案する。 新しい推測で疑似トークンを上書きする代わりに、T2Mはその位置をマスク状態にリセットする。 この方法はトレーニング不要であり、編集ルールのみを変更し、新しいパラメータを導入しない。 3つの検出ヒューリスティックと組み合わせて、マスクが誤ったトークンよりも良い条件信号である理由を簡潔に理論的に説明します。 8つのベンチマークで、T2Mは正確なトークンレベルの出力を必要とするタスクの精度を改善する。 最大の利益は CMATH 上の +5.92 点であり、ベースラインエラーの79.9%が最終1マイルの汚職(正解は正解で最終解が得られた)であり、T2M はこれらのケースの41.3%を修復している。

関連論文リスト

• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• LogicDiff: Logic-Guided Denoising Improves Reasoning in Masked Diffusion Language Models [0.0]
  本稿では,信頼に基づくアンマスキーを論理ロール誘導アンマスキーに置き換える推論時間手法であるLogicDiffを紹介する。 依存関係順序付きスケジューラは、論理的依存関係順序でトークンをアンマスクする。 LogicDiffは、GSM8Kでは22.0%から60.7%に、MATH-500では23.6%から23.6%に改善した。
  論文  参考訳（メタデータ） (2026-03-24T13:08:10Z)
• Self-Aware Markov Models for Discrete Reasoning [8.161697757509701]
  本稿では,Markovトランジションカーネルの学習方法を紹介する。 この設計によりトークンを再マッピングすることができ、モデルが以前のミスを修正することができる。 Sudoku-Extremeデータセットでは、95%の妥当性で、他のフローベース手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2026-03-17T15:30:06Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models [22.525318796588568]
  シンク・アット・ハード(Think-at-Hard, TaH)は、ハードトークンでのみ深く反復する動的潜在思考法である。 TaHは5つの挑戦的なベンチマークで推論のパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2025-11-11T18:57:02Z)
• Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
  RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。 モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
  論文  参考訳（メタデータ） (2025-09-28T05:39:49Z)
• Mask the Correct Tokens: An Embarrassingly Simple Approach for Error Correction [38.463639262607174]
  以前の誤り訂正法は、典型的にはソース(誤り)文をエンコーダ入力とし、デコーダを介してターゲット(正しい)文を生成する。 我々は,この目標を達成するために,シンプルだが効果的なマスキング戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-23T19:05:48Z)
• Mask Transfiner for High-Quality Instance Segmentation [95.74244714914052]
  高品質で効率的なインスタンスセグメンテーションのためのMask Transfinerを提案する。 当社のアプローチでは, エラーが発生しやすい木ノードを検出し, エラーを並列に自己修正する。 私たちのコードとトレーニングされたモデルは、http://vis.xyz/pub/transfiner.comで公開されます。
  論文  参考訳（メタデータ） (2021-11-26T18:58:22Z)
• Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
  事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。 本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。 これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
  論文  参考訳（メタデータ） (2021-10-14T17:27:29Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。