論文の概要: DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay
- arxiv url: http://arxiv.org/abs/2603.16157v1
- Date: Tue, 17 Mar 2026 06:20:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.126503
- Title: DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay
- Title（参考訳）: DyJR:動的ジェンセン・シャノンリプレイによる検証可能なリワードによる強化学習における多様性の保存
- Abstract要約: 既存のエクスペリエンスリプレイメソッドは、直接ポリシー更新のための正確なサンプルを再利用することで、この問題に対処する。
歴史的データは単に正確性を強化するのではなく、持続的な多様性を優先すべきである、と我々は主張する。
本稿では,シンプルで効果的な正規化フレームワークであるLEPJRを提案する。
- 参考スコア（独自算出の注目度）: 57.80564154223355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Reinforcement Learning (RL) enhances Large Language Model reasoning, on-policy algorithms like GRPO are sample-inefficient as they discard past rollouts. Existing experience replay methods address this by reusing accurate samples for direct policy updates, but this often incurs high computational costs and causes mode collapse via overfitting. We argue that historical data should prioritize sustaining diversity rather than simply reinforcing accuracy. To this end, we propose Dynamic Jensen-Shannon Replay (DyJR), a simple yet effective regularization framework using a dynamic reference distribution from recent trajectories. DyJR introduces two innovations: (1) A Time-Sensitive Dynamic Buffer that uses FIFO and adaptive sizing to retain only temporally proximal samples, synchronizing with model evolution; and (2) Jensen-Shannon Divergence Regularization, which replaces direct gradient updates with a distributional constraint to prevent diversity collapse. Experiments on mathematical reasoning and Text-to-SQL benchmarks demonstrate that DyJR significantly outperforms GRPO as well as baselines such as RLEP and Ex-GRPO, while maintaining training efficiency comparable to the original GRPO. Furthermore, from the perspective of Rank-$k$ token probability evolution, we show that DyJR enhances diversity and mitigates over-reliance on Rank-1 tokens, elucidating how specific sub-modules of DyJR influence the training dynamics.
- Abstract（参考訳）: Reinforcement Learning (RL)は、大規模言語モデルの推論を強化するが、GRPOのようなオンポリティクスアルゴリズムは、過去のロールアウトを捨てる際に、サンプル非効率である。
既存の経験リプレイ手法は、直接ポリシー更新のための正確なサンプルを再利用することでこの問題に対処するが、これはしばしば高い計算コストを発生させ、オーバーフィッティングによるモード崩壊を引き起こす。
歴史的データは単に正確性を強化するのではなく、持続的な多様性を優先すべきである、と我々は主張する。
この目的のために,最近の軌道からの動的参照分布を用いたシンプルで効果的な正規化フレームワークであるDynamic Jensen-Shannon Replay (DyJR)を提案する。
DyJRは, 時間知覚動的バッファ(FIFO)と適応サイズ(アダプティブサイズ)を用いて, 時間的近位標本のみを保持し, モデル進化と同期させる)と, 直接勾配更新を分散制約に置き換え, 多様性の崩壊を防ぐJensen-Shannon分散正規化(Jensen-Shannon Divergence Regularization)の2つのイノベーションを導入している。
数学的推論とText-to-SQLベンチマークの実験により、DyJRはオリジナルのGRPOに匹敵するトレーニング効率を維持しながら、GRPOとRLEPやEx-GRPOのようなベースラインを著しく上回っていることが示された。
さらに、Ranc-k$トークン確率の進化の観点から、DyJRは多様性を高め、Ranc-1トークンの過度信頼を緩和し、DyJRの特定のサブモジュールがトレーニングダイナミクスにどのように影響するかを明らかにする。
関連論文リスト
- Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning [47.00572734047258]
本稿では,非同期RLの安定性と非政治的課題に対処するため,単一ロールアウト非同期最適化(SAO)を提案する。
SAOはグループワイドサンプリングを単一ロールアウトサンプリングに置き換える。
SAOは、オープンなGLM-5.2モデルをトレーニングするために、エージェントRLパイプラインにうまくデプロイされる。
論文 参考訳（メタデータ） (2026-07-08T15:02:19Z) - Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training [8.16921896191724]
近年,T2I(Autoregressive Text-to-image)生成が急速に進歩している。
我々は、この見過ごされた因子を、前向きKL、逆KL、JSの発散を含む統合されたf分割フレームワーク内で研究する。
系統的理論的解析により,異なる発散がトークンレベルの更新を異なる方法で再形成することが明らかとなった。
論文 参考訳（メタデータ） (2026-06-19T14:50:22Z) - FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning [16.200486964371713]
フィードバック駆動型双方向強化学習フレームワークFBOS-RLを提案する。
具体的には、環境からのフィードバックに基づいて、フィードバックガイドによる探索強化を行う。
同じロールアウト数で、FBOS-RLはGRPOやフィードバックベースのベースラインよりもかなり高速に学習する。
論文 参考訳（メタデータ） (2026-05-18T12:48:36Z) - Retrieve-then-Adapt: Retrieval-Augmented Test-Time Adaptation for Sequential Recommendation [17.159956938670174]
逐次レコメンデーション(SR)モデルは、推論中にリアルタイムの選好シフトに適応するのに苦労することが多い。
提案するRetrieve-then-Adapt(ReAd)は,ユーザ嗜好信号を抽出して,SRモデルをテスト分布に動的に適用する新しいフレームワークである。
5つのベンチマークデータセットにわたる大規模な実験は、ReAdが既存のSRメソッドを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-04-07T03:24:56Z) - Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。
CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。
ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
論文 参考訳（メタデータ） (2026-02-22T07:23:36Z) - Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models [0.0]
大規模言語モデル(LLM)におけるマルチヘッド自己認識(MHSA)の低ランク分解を適応的に最適化する新しいフレームワークである動的ランク強化学習(DR-RL)を提案する。
DR-RLは、浮動小数点演算(FLOP)を著しく低減しつつ、フルランクアテンションと統計的に等価な下流精度を維持している
この研究は、MHSAの適応効率と理論的厳密さのギャップを埋め、リソース制約の深層学習におけるランク低減技術に代えて、原理的に数学的に基礎付けられた代替手段を提供する。
論文 参考訳（メタデータ） (2025-12-17T21:09:19Z) - Data-regularized Reinforcement Learning for Diffusion Models at Scale [99.01056178660538]
データ正規化拡散強化学習(Data-regularized Diffusion Reinforcement Learning, DDRL)は, フォワードKLの分散を利用して, 政策を非政治データ分布に固定する新しいフレームワークである。
100万時間以上のGPU実験と1万回の二重盲検評価により、DDRLは、RLで見られる報酬ハックを緩和しながら、報酬を大幅に改善することを示した。
論文 参考訳（メタデータ） (2025-12-03T23:45:07Z) - G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
論文 参考訳（メタデータ） (2025-05-08T17:58:45Z) - A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。
我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。
提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
論文 参考訳（メタデータ） (2024-09-21T15:50:59Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。