論文の概要: Random Remasking Scales Masked Diffusion Inference

• arxiv url: http://arxiv.org/abs/2610.30744v1
• Date: Thu, 22 Oct 2026 05:15:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.219018
• Title: Random Remasking Scales Masked Diffusion Inference
• Title（参考訳）: ランダムリマッシングによるマスク付き拡散推定
• Abstract要約: 我々は、MDM推論を、remask-denoiseカーネルによって定義されたクリーンシーケンス空間上のマルコフ連鎖として再定式化する。 この分析はRandom Remask-Denoise(R$2$D)推論を動機付けている。 論理的タスクでは,3SATでは97%以上の精度,3SATでは99%以上の精度を実現している。
• 参考スコア（独自算出の注目度）: 11.825703814547147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models (MDMs) generate sequences by progressively unmasking tokens, but errors introduced during decoding are typically irreversible. Recent work has shown that iterative correction can improve sample quality, yet existing theory fails to explain this given a learned, imperfect denoiser model. We re-formulate MDM inference as a Markov chain on the clean sequence space, defined by a remask-denoise kernel that randomly re-introduces masks and then denoises. This helps us analyze the actual denoising trajectory towards the data distribution. The analysis motivates Random Remask-Denoise (R$^2$D) inference, a purely test-time, finetuning-free, reward-free procedure. To further improve performance, we propose Trajectory Correction Training (TCT), a denoiser-training procedure that exposes the model to its own errors along the generation trajectory. On logical tasks, our approach exhibits a striking near-log-linear test-time scaling, achieving over 97% accuracy on hard Sudoku puzzles and over 99% accuracy on 3-SAT. Our approach also applies to pretrained models on actual language tasks, beating iterative correction baselines and the official Q-mode accuracy of LLaDA2.1-mini on HumanEval+.
• Abstract（参考訳）: マスク付き拡散モデル(MDM)はトークンを徐々に解き放つことでシーケンスを生成するが、復号時に発生するエラーは典型的には不可逆である。 近年の研究では、反復補正がサンプルの品質を向上させることが示されているが、既存の理論では、学習された不完全なデノイザーモデルから説明できない。 我々は、MDM推論をクリーンなシーケンス空間上のマルコフ連鎖として再定式化し、マスクをランダムに再導入し、デノネーズするremask-denoiseカーネルによって定義される。 これにより、実際のデノゲーション軌跡をデータ分布へ向けて解析するのに役立つ。 この分析はRandom Remask-Denoise(R$^2$D)推論を動機付けている。 提案するトラジェクトリ補正訓練(TCT, Trajectory Correction Training, トラジェクトリ補正訓練)は, モデルが生成路に沿った独自のエラーに曝されることを検知するデノイザ訓練手法である。 論理的タスクでは,3SATでは97%以上の精度,3SATでは99%以上の精度を実現している。 提案手法は,HumanEval+上でのLLaDA2.1-miniの反復補正ベースラインと公式Qモード精度を上回り,実際の言語タスクの事前学習モデルにも適用できる。

関連論文リスト

• Correction Training for Diffusion Models [38.67214934380264]
  このトレーニングと推論のギャップを減らそうとする拡散モデルの補正ステップを導入する。 補正者は、ベースモデルの予測を入力として、同じ接地目標に対してトレーニングする。 サンプリング中、各デノイングステップにおいて、デノワザーのクリーンサンプル予測を反復的に洗練する。 補正器は、ベースデノイザからの予測のみに基づいて訓練されるが、推論時に自分自身の出力に繰り返し適用することで、より良い結果が得られる。
  論文  参考訳（メタデータ） (2026-10-09T13:31:52Z)
• Let It Go or Learn to Self-Correct: Continuous Diffusion for Constrained Discrete Tasks [16.76819088768813]
  拡散確率モデル(Denoising Diffusion Probabilistic Models)は、各更新を現在のノイズ状態に近い状態に保ちながら、繰り返しdenoisingによってサンプルを生成する。 モデルのクリーンな予測が有益である場合でも,標準拡散サンプリングは早期の誤りを保存する可能性があることを示す。 自己補正トレーニングを導入し、モデル自体の予測に公開し、推論中に発生するエラーに対する堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-09-08T16:45:52Z)
• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• Targeted Remasking: Replacing Token Editing with Token-to-Mask Refinement in Discrete Diffusion Language Models [0.6916773850242582]
  LLaDA2.1は、生成を高速化するToken-to-Token (T2T)編集機構を導入した。 本稿では,T2T編集の学習不要でドロップインの代替品であるToken-to-Mask(T2M)を提案する。 T2Mは、疑わしいトークンをマスク状態にリセットし、拡散過程がよりクリーンなコンテキスト下でそれらを再予測することを可能にする。
  論文  参考訳（メタデータ） (2026-04-06T17:39:11Z)
• Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
  マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。 本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。 トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
  論文  参考訳（メタデータ） (2026-02-12T05:17:31Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Lookahead Unmasking Elicits Accurate Decoding in Diffusion Language Models [51.12873073612084]
  Masked Diffusion Models (MDM) は、反復的にトークンをアンマキングすることで生成される言語モデルであるが、その性能はアンマキングの推測時間順序に依存する。 提案するLookUM(LookUM)は,これらの問題に対処し,サンプリングを可能な全注文に対して経路選択として再構成する。 LookUMはピーク性能を達成するために2～3つの経路しか必要とせず、極めて効率的な経路選択を示す。
  論文  参考訳（メタデータ） (2025-11-04T02:37:37Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。