論文の概要: Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2608.01717v1
- Date: Mon, 03 Aug 2026 05:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.334434
- Title: Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
- Title（参考訳）: オンライン探索を超えて:拡散言語モデルにおける強化学習のための外部政策ロールアウトの統合
- Abstract要約: 長さ制御とソース特化処理を併用した外部ロールアウト統合を提案する。
外部ロールアウトの長さを制御し、オン・ポリティクスと外部ロールアウトの報酬を別々に処理する。
ゼロショット評価によるSudoku, Countdown, MATH500実験の結果, ERILSはマルチサンプル性能を向上させることが示された。
- 参考スコア（独自算出の注目度）: 11.309303418177988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent reinforcement learning methods for diffusion large language models (dLLMs) commonly rely on on-policy rollouts generated by the target dLLM itself. When successful on-policy rollouts are scarce, however, on-policy training may receive little positive reward and make only limited progress. To mitigate this problem, we explore incorporating higher-reward rollouts generated by a stronger external policy alongside on-policy rollouts from the target dLLM. However, directly incorporating these external rollouts introduces two practical challenges: differences in rollout length and instability when jointly processing rewards from on-policy and external rollouts. To address these challenges, we propose External Rollout Integration with Length Control and Source-Specific Processing (ERILS), which controls external-rollout length and processes the rewards of on-policy and external rollouts separately. Experiments on Sudoku, Countdown, and MATH500 under zero-shot evaluation show that ERILS improves multi-sample performance across all three tasks, with the largest gains on Sudoku. On Sudoku, ERILS achieves 98.4% best-of-4 completion accuracy, compared with 40.3% for the strongest baseline. ERILS also maintains approximately 90% deterministic single-completion accuracy on Sudoku across generation lengths of 128, 256, and 512 tokens. Our component analysis further shows that length-controlled external rollouts are more effective than uncontrolled external rollouts, and that source-specific reward processing avoids the training collapse observed with joint reward processing. These results show that rollout construction and reward processing are important design dimensions when integrating external rollouts into dLLM reinforcement learning.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)の最近の強化学習手法は、ターゲットdLLM自体が生成するオンラインロールアウトに依存していることが多い。
しかし、実戦でのロールアウトの成功は少ない場合、実戦でのトレーニングはプラスの報酬がほとんど得られず、限られた進歩しか得られない。
この問題を軽減するため、我々は、ターゲットdLLMからのオンラインロールアウトと並行して、より強力な外部ポリシーによって生成された、より高いリワードロールアウトを組み込むことを検討する。
しかしながら、これらの外部ロールアウトを直接組み込むことは、ロールアウトの長さと不安定性の2つの実践的課題をもたらす。
これらの課題に対処するために,外部ロールアウトと外部ロールアウトの報酬を個別に処理するERILS(External Rollout Integration with Length Control and Source-Specific Processing)を提案する。
ゼロショット評価によるSudoku, Countdown, MATH500実験の結果, ERILSは3つのタスクすべてでマルチサンプル性能が向上し, Sudokuでは最大の利益が得られた。
ERILSは最強のベースラインでは40.3%に対して、Sudokuでは98.4%のベスト・オブ・フォー・フォー・フォー・フィニッシュを達成している。
ERILSはまた、128,256,512トークンの世代長にわたって、スドク上で約90%の決定論的単一補完精度を維持している。
さらに, 部品分析により, 外部ロールアウトが制御不能なロールアウトよりも有効であること, ソース固有報酬処理が共同報酬処理で観測されるトレーニング崩壊を回避すること, などを明らかにした。
これらの結果から, 外部ロールアウトをdLLM強化学習に統合する場合, ロールアウト構成と報奨処理が重要な設計次元であることが示唆された。
関連論文リスト
- On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - Better, Faster: Harnessing Self-Improvement in Large Reasoning Models [88.9107786925265]
本稿では,2つの単純なyet- Effectiveアプローチにより,大規模推論モデルにおける自己改善を効果的に促進するHSIRを提案する。
具体的には、HSIRはデータの不均衡を軽減するために、検証済みの外部サンプリング戦略を導入する。
HSIRはまた、望ましくないソリューションを定量化しフィルタリングするために、固有の多様性スコアも設計している。
論文 参考訳（メタデータ） (2026-05-24T10:54:46Z) - MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution [45.957713330643934]
マルチエージェント戦略相互作用のための言語モデルエージェントの訓練は、中核的な困難をもたらす。
標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。
我々は,段階ごとの報酬帰属の遅れに,適度ゲーティング,エピソードライフサイクル,後処理パイプラインを導入している。
論文 参考訳（メタデータ） (2026-04-13T23:59:03Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - Jackpot: Optimal Budgeted Rejection Sampling for Extreme Actor-Policy Mismatch Reinforcement Learning [31.843129392507716]
Jackpotは、ポリシーとロールアウトモデルを共同で更新する統合トレーニング目標を統合するフレームワークである。
我々の理論的分析は、OBRSが制御可能な受理予算の下で、目標分布に近いロールアウト分布を一貫して移動していることを示している。
論文 参考訳（メタデータ） (2026-02-05T18:57:01Z) - Test-time Recursive Thinking: Self-Improvement without External Feedback [120.80790108733942]
TRT(Test-time Recursive Thinking)は、反復的な自己改善フレームワークである。
オープンソースモデルはAIME-25/24で100%精度に達し、LiveCodeBenchの最も難しい問題では、クローズドソースモデルは外部からのフィードバックなしで10.4-14.8ポイント改善されている。
論文 参考訳（メタデータ） (2026-02-03T04:37:37Z) - Group Distributionally Robust Optimization-Driven Reinforcement Learning for LLM Reasoning [45.86058898829962]
Multi-Ad Distributionally Robust Optimization (GDRO)は、一様推論を超えて最適化第一のフレームワークである。
本稿では,EMA-debiased multiplicative-weight bandit samplerを用いて,周波数バイアスを伴わない集中的難易マージンと過度にハードなグループをターゲットとした2つの独立したGDROゲームと,グループ間のロールアウトをシャドウプライスコントローラで再配置し,固定平均予算下でのハードタスクの勾配分散低減を最大化するRollout-GDROを提案する。
Qを用いたDAPO 14.1kデータセット上でのフレームワークの検証
論文 参考訳（メタデータ） (2026-01-27T07:10:41Z) - R$^2$PO: Decoupling Training Trajectories from Inference Responses for LLM Reasoning [38.722039062040096]
R$2$POは、トレーニングトラジェクトリを推論応答から切り離すためのポリシーの上に、軽量なResidual Rollout-Headを導入している。
その結果,MATH-500では平均精度が3.4%,APPSでは1.3%向上した。
論文 参考訳（メタデータ） (2026-01-17T08:30:50Z) - CoPRIS: Efficient and Stable Reinforcement Learning via Concurrency-Controlled Partial Rollout with Importance Sampling [11.252930904797]
重要サンプリングを用いた並列制御部分ロールアウト(CoPRIS)を提案する。
CoPRISは、一定数の同時ロールアウトを維持し、十分なサンプルが収集されたら早期終了し、その後のロールアウトで未完成のトラジェクトリを再利用することで、長いテールの非効率を緩和する。
実験の結果、CoPRISは同期RLシステムに匹敵する性能を維持しながら、最大1.94倍高速なトレーニングを実現している。
論文 参考訳（メタデータ） (2025-11-05T11:39:32Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization [111.1749164063616]
大規模言語モデル(LLM)のための新しいハイブリッド政治最適化手法RL-PLUSを提案する。
RL-PLUSは、外部データと内部エクスプロイトを相乗化して、より強力な推論能力を達成し、ベースモデルのバウンダリを超える。
提案手法の優位性と一般化性を示すため,理論解析と広範な実験を行った。
論文 参考訳（メタデータ） (2025-07-31T23:55:29Z) - Learning to Reason without External Rewards [100.27210579418562]
RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。
内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。
本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
論文 参考訳（メタデータ） (2025-05-26T07:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。