論文の概要: SLIM-RL: Risk-Budgeted Random-Masking RL for Diffusion LLMs Without Trajectory Slicing

• arxiv url: http://arxiv.org/abs/2607.00208v1
• Date: Tue, 30 Jun 2026 21:38:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.646159
• Title: SLIM-RL: Risk-Budgeted Random-Masking RL for Diffusion LLMs Without Trajectory Slicing
• Title（参考訳）: SLIM-RL:軌道スライシングを伴わない拡散LDMのためのリスク予算ランダムマスキングRL
• Abstract要約: 拡散大言語モデル(dLLM)の強化学習は、軌道認識方式に大きく移行している。 このミスマッチは軌道を再構築することなく緩和できることを示す。 SLIM-RLは,各ロールアウトステップのコミットリスクをタウ予算デコーダにバインドし,トレーニングデータの総コミットリスクを低減する。
• 参考スコア（独自算出の注目度）: 25.662222190715298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning for diffusion large language models (dLLMs) has largely moved to trajectory-aware methods. The current state of the art, TraceRL, holds that random masking is mismatched with the model's inference trajectory, and it reconstructs that trajectory during training by slicing each rollout into up to K/s trajectory-aligned training samples, a cost that grows with the block size K. We show that this mismatch can be mitigated without reconstructing the trajectory. Our method, SLIM-RL, bounds the commit risk of each rollout step with a tau-budget decoder, reducing aggregate commit risk in the training data. During optimization, SLIM-RL trains on these risk-controlled rollouts with a trace-free random-masking objective that adapts variance-reduction tools, combining sequence-level importance sampling, deterministic quadrature over masking levels under a mean-preserving, monotonically decreasing per-block mask schedule that we introduce. On SDAR-4B, SLIM-RL matches TraceRL's best MATH500 accuracy on only 0.46x its training samples at block size 16, improving over TraceRL by 6.32% on MATH500 and 11.05% on GSM8K under matched dynamic sampling. At block size 4, the 4B SLIM-RL surpasses the larger LLaDA-8B and Dream-7B dLLMs on math, exceeding LLaDA-8B by 10.76% on MATH500 while staying below the autoregressive Qwen2.5-7B. On code, it improves over TraceRL by 4.20% on MBPP and 3.65% on HumanEval. The tau-budget decoder transfers training-free across LLaDA, Dream, and SDAR. The source code is available at https://github.com/laolaorkkkkk/SLIM-RL .
• Abstract（参考訳）: 拡散大言語モデル(dLLM)の強化学習は、軌道認識方式に大きく移行している。 現在の最先端技術であるTraceRLは、ランダムマスキングがモデルの推論軌跡とミスマッチしており、各ロールアウトを最大K/s軌道整列トレーニングサンプルにスライスすることで、トレーニング中の軌道を再構築する。 SLIM-RLは,各ロールアウトステップのコミットリスクをタウ予算デコーダにバインドし,トレーニングデータの総コミットリスクを低減する。 SLIM-RLは,これらのリスク制御されたロールアウトを,変動低減ツールに適応するトレースフリーなランダムマスキング目標を用いて,平均保存・単調なブロック毎マスクスケジュールの下で,シーケンスレベルの重要度サンプリングと決定論的2次マスクレベルを組み合わせた訓練を行う。 SDAR-4Bでは、SLIM-RLはTraceRLの最良のMATH500精度を0.46倍のブロックサイズで比較し、MTH500では6.32%、GSM8Kでは11.05%改善した。 ブロックサイズ4では、4B SLIM-RL は LLaDA-8B と Dream-7B dLLM を上回り、MATH500 では LLaDA-8B を 10.76% 上回っている。 コードでは、MBPPではTraceRLが4.20%、HumanEvalでは3.65%改善されている。 タウ予算デコーダは、LLaDA、Dream、SDAR間でトレーニングフリーを転送する。 ソースコードはhttps://github.com/laolaorkkkkk/SLIM-RL で公開されている。

関連論文リスト

• Trace-Based On-Policy Distillation for Masked Diffusion Language Models [14.931427442072502]
  dLLMの監視された微調整 (SFT) には、密度が高いが、しばしば非政治的なマスク状態が必要である。 強化学習(RL)はスパース報酬や価値モデリングに依存している。 本稿では, 教師が指導する目標dLLMに推論能力を伝達するフレームワークであるtextbftrace-based on-policy distillation (TOPD)を提案する。
  論文  参考訳（メタデータ） (2026-07-18T16:25:17Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs [80.76334908639745]
  大規模言語モデル(LLM)のための量子化強化学習フレームワークQeRLを提案する。 QeRLは、NVFP4量子化とローランド適応(LoRA)を組み合わせた問題に対処する。 実験によると、QeRLはロールアウトフェーズで1.5倍以上のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-10-13T17:55:09Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• Knowledge Graph Reasoning with Self-supervised Reinforcement Learning [30.359557545737747]
  本稿では,RLトレーニング前の政策ネットワークを温めるための自己指導型事前学習手法を提案する。 教師付き学習段階において、エージェントはポリシーネットワークに基づいて行動を選択し、生成されたラベルから学習する。 我々のSSRLモデルは、すべてのHits@kおよび平均相互ランク(MRR)メトリクスにおいて、現在の最先端結果と一致または超えていることを示す。
  論文  参考訳（メタデータ） (2024-05-22T13:39:33Z)
• Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption [60.958746600254884]
  本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。 本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。 我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T07:27:30Z)
• Efficient Diffusion Policies for Offline Reinforcement Learning [85.73757789282212]
  Diffsuion-QLは、拡散モデルでポリシーを表現することによってオフラインRLの性能を大幅に向上させる。 これら2つの課題を克服するために,効率的な拡散政策(EDP)を提案する。 EDPは、サンプリングチェーンの実行を避けるために、トレーニング中の腐敗したアクションからアクションを構築する。
  論文  参考訳（メタデータ） (2023-05-31T17:55:21Z)
• Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
  実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。 標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。 本研究では, MRL の頑健な目標を制御レベルで定義する。 ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
  論文  参考訳（メタデータ） (2023-01-26T14:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。