論文の概要: Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2609.25927v1
• Date: Tue, 22 Sep 2026 09:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.310953
• Title: Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models
• Title（参考訳）: インフォームド・マスキング:拡散大言語モデルにおける強化学習のための構造認識摂動
• Abstract要約: 我々は、dLLMロールアウトにおいて、体系的な上流/下流構造を同定する。 Informed Masking (IM) を提案する。これは、余剰推論コストゼロのデノベーション軌道から、ダウンストリームトークンへのマスクサンプリングの偏りを導出する。 LLaDA-8B-インストラクタ上で3つの最先端のdLLM RLメソッドにプラグインされると、最大2.01%、8.68%、および5.77%の相対的なゲインを数学と計画ベンチマークで提供し、トレーニング安定性を改善した。
• 参考スコア（独自算出の注目度）: 49.51177333039044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Large Language Models (dLLMs) have emerged as an efficient alternative to autoregressive models, yet aligning them via Reinforcement Learning (RL) requires likelihood surrogates estimated from masked reconstruction subproblems under a small Monte Carlo budget per rollout. Existing methods construct these subproblems by uniform random masking, leaving open the question of which subproblems to prioritize. We identify a systematic upstream/downstream structure in dLLM rollouts. Some tokens, when revealed, trigger large confidence changes in nearby undecoded positions; we call them upstream. Others induce only small local changes and are therefore downstream. We find masking downstream tokens yields substantially better-posed subproblems than masking upstream tokens, a phenomenon we term subproblem difficulty asymmetry. Based on the observation, we propose Informed Masking (IM), which derives a per-token priority score from the denoising trajectory at zero extra inference cost and biases mask sampling toward downstream tokens. IM is plug-and-play: when plugged into three state-of-the-art dLLM RL methods on LLaDA-8B-Instruct, it delivers up to 2.01%, 8.68%, and 5.77% relative average gains on math and planning benchmarks with improved training stability.
• Abstract（参考訳）: 拡散大言語モデル (dLLMs) は自己回帰モデルの効率的な代替として登場したが、Reinforcement Learning (RL) を通じてそれらを整列させるには、1ロールアウト当たりの小さなモンテカルロ予算の下でマスクされた再構築サブプロブレムから推定される確率的なサロゲートが必要である。 既存の手法は、これらのサブプロブレムを均一なランダムマスキングによって構成し、どのサブプロブレムを優先すべきかという疑問を解き放つ。 我々は、dLLMロールアウトにおいて、体系的な上流/下流構造を同定する。 いくつかのトークンは、公表されると、近くの非復号化位置で大きな信頼性変化を引き起こします。 他のものは小さな局所的な変化しか起こさず、従って下流にある。 ダウンストリームトークンをマスキングすると、アップストリームトークンをマスキングするよりもかなり良いサブプロブレムが得られることが分かり、これはサブプロブレム難易度非対称性と呼ばれる現象である。 本研究は, 提案手法を用いて, 余剰推論コストゼロのデノベーション軌道から, ダウンストリームトークンへのマスクサンプリングを優先スコアとするインフォームド・マスキング(IM)を提案する。 LLaDA-8B-インストラクタ上で3つの最先端のdLLM RLメソッドにプラグインされると、最大2.01%、8.68%、および5.77%の相対的なゲインを数学と計画ベンチマークで提供し、トレーニング安定性を改善した。

関連論文リスト

• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• Mask Is What DLLM Needs: A Masked Data Training Paradigm for Diffusion LLMs [26.45111031153368]
  ランダムノイズスケジューラは、現実世界のシーケンスに固有の、高度に一様でない情報密度を見落としている。 情報密度ハブを抽出し,補完的優先性マスキングを適用することにより,1つのトレーニングインスタンスを分離し,推論と構文サンプルを相互に強化する。 実験では、4つのCodeとMath推論ベンチマークで平均精度が4%向上した。
  論文  参考訳（メタデータ） (2026-03-16T18:33:43Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• STEP: Learning N:M Structured Sparsity Masks from Scratch with Precondition [34.271242093957476]
  そこで我々は,N:M構造を持つ空間マスクを2相で学習するAdam-AwareのレシピであるSTEPを提案する。 STEPは、分散変化を動的にサンプリングすることで、2つの位相の切替点を自動的に識別する。 そこで本研究では,STEPがベースラインレシピの精度低下を軽減し,アグレッシブな構造的疎度比に頑健であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。