論文の概要: What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.31576v1
• Date: Thu, 22 Oct 2026 17:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.493716
• Title: What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
• Title（参考訳）: 良いアンマスキー政策とは何か : 拡散言語モデルにおける学習アンマスキーの研究
• Abstract要約: マスケッド拡散言語モデルはトークンを並列に生成するが、その効率はどの予測が実行されるかによって異なる。 我々は教師の方針を教師による復号手順の蒸留とみなしている。 最終的な出力と一致するラベル付け予測は、低NFEでは過剰に許容される。
• 参考スコア（独自算出の注目度）: 25.597636020885236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models generate tokens in parallel, but their efficiency depends on which predictions are committed. Learned unmasking policies improve the speed--accuracy trade-off, yet differ in supervision, inputs, and capacity, obscuring which choices matter. We view supervised policies as distilling a decoding procedure through a teacher and examine independently what the teacher labels as committable, on which states the policy imitates it, what the policy observes, and how much the number of function evaluations (NFE) must decrease to offset policy overhead. We find that labeling predictions matching the final output is overly permissive at low NFE, and hidden states are weak alone but can complement confidence. About a 10% NFE reduction suffices to offset policy overhead for policies up to 7.5M parameters across tested settings. We therefore train a policy on trajectory-contraction targets, which accept only commitments staying on a reference trajectory, using confidence and hidden states. On LLaDA-8B-Instruct, the resulting 856K-parameter policy achieves the best accuracy--NFE frontier and highest throughput on GSM8K, is competitive at moderate targets on MATH-500 and HumanEval, and largely transfers to Dream-7B-Instruct.
• Abstract（参考訳）: マスケッド拡散言語モデルはトークンを並列に生成するが、その効率はどの予測が実行されるかによって異なる。 学習されたアンマキングポリシーは、スピードのトレードオフを改善するが、監督、インプット、キャパシティが異なり、どの選択肢が重要かを無視する。 教師は教師を通じて復号手順を蒸留し,教師のラベルをコミッタブル(committable)とみなすか,政策がどのような状況で,かつ,機能評価(NFE)の回数が,政策のオーバーヘッドを相殺するためにどの程度減少するかを個別に検討する。 最終出力に一致するラベル付け予測は低NFEでは過剰に許容され,隠れた状態は単独では弱いが信頼性を補完できることがわかった。 約10%のNFE削減は、テストされた設定間で最大7.5万のパラメータのポリシーのオーバーヘッドを相殺するのに十分である。 そこで我々は、信頼と隠された状態を利用して、基準軌道に留まるコミットメントのみを受け入れるトラジェクトリ・コントラクション目標に関するポリシーを訓練する。 LLaDA-8B-Instructでは、結果として得られる856Kパラメータポリシーは、最高精度のNFEフロンティアと最高スループットをGSM8Kで達成し、MATH-500とHumanEvalで適度な目標で競合し、主にDream-7B-Instructに移行する。

関連論文リスト

• Inference-Time Mitigation of Adversarial Political Bias in Large Language Models [11.657742684742258]
  我々は、政治的偏見の注入に対して、LLM(Large Language Models)を保護する様々な方法を提案する。 提案手法は,2.14～4.56の政治中立性類似度尺度からモデル性能を向上することを示した。
  論文  参考訳（メタデータ） (2026-07-24T01:52:10Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Improving Discrete Diffusion Unmasking Policies Beyond Explicit Reference Policies [47.6755955972232]
  我々は,KL規則化マルコフ決定プロセス (MDP) として明示的な基準ポリシを付与し,正規化目標を最適化した。 このフレームワークの下で最適化されたポリシーは、スケジュールよりもデータ分布とより密に一致したサンプルを生成することを証明している。
  論文  参考訳（メタデータ） (2025-10-07T09:44:24Z)
• Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning [33.899779762210976]
  大規模言語モデルの教師付き微調整(SFT)は、非政治的な学習問題と見なすことができる。 既存の方法では、ギャップを積極的に減らすのではなく、パッシブに更新するKLペナルティやクリッピングによってこの問題を軽減する。 本稿では,トレーニング前の政策ギャップを積極的に縮小する,シンプルで効果的なデータ書き換えフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T17:02:30Z)
• Fat-to-Thin Policy Optimization: Offline RL with Sparse Policies [5.5938591697033555]
  スパース連続ポリシー(sparse continuous policy)は、ランダムにいくつかのアクションを選択するが、他のアクションの確率を厳密にゼロにする分布である。 本稿では,Fat-to-Thin Policy Optimization (FtTPO) という,この問題に対処する最初のオフラインポリシ最適化アルゴリズムを提案する。 FtTPOを、ヘビーテールとスパースポリシーの両方を含む一般的な$q$-Gaussianファミリーでインスタンス化する。
  論文  参考訳（メタデータ） (2025-01-24T10:11:48Z)
• Mildly Constrained Evaluation Policy for Offline Reinforcement Learning [12.465177007346176]
  オフライン強化学習(RL)手法は、行動方針に忠実に従うためにポリシーに制約を課す。 我々は、より制約のあるテキストターゲットポリシーを用いて、テスト時間推定のためのtextitMildly Constrained Evaluation Policy (MCEP) を提案する。
  論文  参考訳（メタデータ） (2023-06-06T13:43:09Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
  オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。 この相違は, 目的の強調安定性によるものであることを示す。 大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
  論文  参考訳（メタデータ） (2020-06-27T13:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。