論文の概要: Low-Confidence Remasking Traps Flexibility: Realizing Arbitrary-Order Potential for Diverse Rollouts in Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2609.34509v1
• Date: Mon, 28 Sep 2026 07:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:50:07.851664
• Title: Low-Confidence Remasking Traps Flexibility: Realizing Arbitrary-Order Potential for Diverse Rollouts in Diffusion LLMs
• Title（参考訳）: 低信頼軌道フレキシビリティ:拡散LDMにおける横ロールアウトの任意次ポテンシャルの実現
• Abstract要約: マスク付き拡散言語モデルは任意の順序生成をサポートし、多様な出力を生成する自然な方法を提案する。 この柔軟性は、異なる生成経路につながる可能性のある高不確実性トークンを遅らせることによって多様性を低下させる。 エントロピー誘導初期化(Entropy-Guided Initialization, EGI)を導入する。
• 参考スコア（独自算出の注目度）: 9.121596060637005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models support arbitrary-order generation, suggesting a natural way to produce diverse outputs. However, recent work argues that this flexibility reduces diversity by delaying high-uncertainty tokens that can lead to different generation paths. We trace this diversity loss not to arbitrary-order generation itself, but largely to low-confidence remasking (LCR), a widely used decoding rule. At each step, LCR samples a token at every masked position but commits only the sampled token with the highest probability, filtering out the rest. We show that this mechanism can exponentially suppress lower-probability tokens as more positions compete, and observe the same suppression in LLaDA. In contrast, top-probability position selection (TPP), which has often been conflated with LCR under the shared label confidence-based decoding, avoids this diversity loss. TPP first selects the position whose most likely token has the highest probability, then samples directly from that position's distribution. Replacing LCR with TPP restores diversity and yields Pass@$k$ comparable to left-to-right decoding, suggesting that the reported diversity loss stems largely from LCR's filtering rather than from generating high-confidence positions first. To further exploit order flexibility, we introduce Entropy-Guided Initialization (EGI), which samples the first token at the highest-entropy position and then follows TPP. This simple modification further improves rollout diversity and solution coverage beyond left-to-right decoding, with gains extending to downstream policy optimization, highlighting the potential of arbitrary-order generation for diverse rollouts.
• Abstract（参考訳）: マスク付き拡散言語モデルは任意の順序生成をサポートし、多様な出力を生成する自然な方法を提案する。 しかし、最近の研究は、この柔軟性は、異なる生成経路につながる可能性のある高不確実性トークンを遅らせることによって多様性を低下させると主張している。 我々は、この多様性損失を任意の順序生成そのものではなく、広く使われている復号法である低信頼リマッシング(LCR)に遡る。 各ステップにおいて、LCRはマスクされた位置ごとにトークンをサンプリングするが、最も高い確率でサンプリングされたトークンのみをコミットし、残りのトークンをフィルタリングする。 また,この機構により,LLaDAの低確率トークンを指数関数的に抑制することができ,LLaDAでも同様の抑制を観測できることを示す。 対照的に、トップ確率位置選択(TPP)は、共有ラベルの信頼に基づく復号化の下でLCRと混同されることが多く、この多様性の喪失を避ける。 TPPは、最も可能性が高いトークンが最も高い位置を選択し、その位置の分布から直接サンプリングする。 TPPでLCRをリプレースすると多様性が回復し、Pass@$k$は左から右へのデコードに匹敵する。 順序の柔軟性をさらに活用するために、エントロピー誘導初期化(EGI)を導入し、最も高いエントロピー位置で最初のトークンをサンプリングし、次にTPPに従う。 この単純な修正により、ロールアウトの多様性とソリューションカバレッジが、左から右へのデコードを超えて改善され、ダウンストリームポリシーの最適化にまで拡張され、多様なロールアウトに対する任意の順序生成の可能性が強調される。

関連論文リスト

• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding [4.534022278426311]
  VCM(Variance-Calibrated Modulation)は、訓練なしの事前復号処理であり、脱落前の確率分布を再評価する。 オープンエンド生成、実数QA、数学的推論を通じて、VCMは、常に可能性トラップを緩和する。
  論文  参考訳（メタデータ） (2026-06-21T14:04:51Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• NAVIRA: Decoupled Stochastic Remasking for Masked Diffusion Language Models [0.0]
  PRISMはトークンレベルの品質スコアを学習し、信頼できないトークンを再マスクすることでこの問題に対処する。 この2つの操作を分離する推論時間復号法であるNAVIRAを提案する。 温度制御されたリメイキングは、同じ位置の繰り返し補正を減らす。
  論文  参考訳（メタデータ） (2026-06-04T11:24:47Z)
• Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
  低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。 我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
  論文  参考訳（メタデータ） (2026-04-01T02:01:30Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• MARS-Sep: Multimodal-Aligned Reinforced Sound Separation [72.85468563236005]
  MARS-Sepは音分離のための強化学習フレームワークである。 クリッピングされた信頼領域サロゲートによって最適化された、ファクタライズされたベータマスクポリシを学ぶ。 複数のベンチマークの実験は、テキスト、オーディオ、イメージ-キュード分離において一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-10-12T09:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。