論文の概要: Parameter Exploration for RLVR via Variational Learning

• arxiv url: http://arxiv.org/abs/2608.09805v1
• Date: Mon, 10 Aug 2026 16:28:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.384354
• Title: Parameter Exploration for RLVR via Variational Learning
• Title（参考訳）: 変分学習によるRLVRのパラメータ探索
• Abstract要約: 既存の多くの手法は、例えば温度スケーリングを用いて、アクション空間での探索を制御する。 そこで本研究では,異なるロールアウトを探索可能な後部から異なるポリシーをサンプリングすることにより,ロールアウトを生成するパラメータ空間探索について検討する。 実験により、これらの手法は標準のGRPOよりもほぼ同一のFLOPsコストで平均ダウンストリーム性能を一貫して向上することが示された。
• 参考スコア（独自算出の注目度）: 52.28666546574647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exploration has been a focus of reinforcement learning research for a long time. Recently, there has been growing evidence that it is also an important ingredient in LLM reinforcement learning recipes that can significantly impact downstream performance. Many existing methods control exploration in the action-space, for example, using temperature scaling. However, these methods cannot reorder tokens but only influence the variance in the output distribution. This limits exploration and can lead to divergence or stalled training. Here, we investigate parameter-space exploration, where rollouts are generated by sampling different policies from a posterior that may each explore different rollouts. Sampling less or more diverse policies is then a complementary control lever over exploration. We introduce a family of methods called Perturbed Parameter Policy Optimization (3PO) which use different sampling strategies and different rollout grouping for reward estimation. Experiments on OLMo-3-1025-7B and Qwen2.5-Math-7B across mathematical reasoning and code generation tasks show that these approaches consistently improve average downstream performance over standard GRPO at a near-identical FLOPs cost. Moreover, using multiple parameter samples consistently produces fewer zero-advantage groups and malformed or incorrect rollouts during training than GRPO and action-space baselines. Overall, our work presents evidence that parameter-space exploration can improve reinforcement learning for LLMs.
• Abstract（参考訳）: 探索は長い間、強化学習研究の焦点であった。 近年,LLM強化学習のレシピにおいても,下流のパフォーマンスに大きな影響を及ぼす重要な要素である証拠が増えている。 既存の多くの手法は、例えば温度スケーリングを用いて、アクション空間での探索を制御する。 しかし、これらの方法はトークンを並べ替えることはできないが、出力分布のばらつきにしか影響しない。 これは探索を制限し、分岐や訓練の中断につながる可能性がある。 そこで本研究では,異なるロールアウトを探索可能な後部から異なるポリシーをサンプリングすることにより,ロールアウトを生成するパラメータ空間探索について検討する。 より多かれ少なかれ多様な政策を採集することは、探索よりも補完的な制御レバーである。 本稿では,異なるサンプリング戦略と異なるロールアウトグルーピングを用いた報奨評価手法であるPerturbed Parameter Policy Optimization (3PO)を紹介する。 OLMo-3-1025-7B と Qwen2.5-Math-7B の数学的推論およびコード生成タスクによる実験により、これらの手法は標準 GRPO よりもほぼ同一の FLOP コストで平均ダウンストリーム性能を一貫して改善することを示した。 さらに、複数のパラメータサンプルを使用することで、GRPOやアクションスペースベースラインよりも、ゼロアドバンテージグループやトレーニング中の不正あるいは不正なロールアウトを一貫して生成する。 全体として,パラメータ空間探索がLLMの強化学習を改善する証拠を示す。

関連論文リスト

• Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning [65.72189367176186]
  この調査はアルゴリズム構築の3段階の検証を整理する。 まず, 報酬関数, 状態空間, 行動空間, 終了条件, 割引係数をどのように定義するか, あるいは, LLMトレーニングで定義することができる。 次に、探索、温度サンプリング、エントロピー正規化、本質的な動機づけ、木探索、カリキュラム学習に目を向けます。
  論文  参考訳（メタデータ） (2026-06-20T08:20:41Z)
• Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。 我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。 当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
  論文  参考訳（メタデータ） (2026-05-15T08:22:59Z)
• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• The Road Less Traveled: Enhancing Exploration in LLMs via Sequential Sampling [39.65138471548881]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力の向上に重要である。 提案するSESA(Sequential SAmpling framework)は,多種多様なソリューションスケッチを逐次生成し,それらを完全な推論経路に拡張する。 合成課題における実験により, 逐次サンプリングは経路の多様性や崩壊からの回復の観点から, 従来のRL法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-17T10:15:11Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• EFRame: Deeper Reasoning via Exploration-Filter-Replay Reinforcement Learning Framework [10.632701939913007]
  グループ相対政策最適化(GRPO)は効率を向上するが、探索や訓練の不安定さに悩まされる。 GRPOを3次元に拡張するExploration-Filter-ReplayフレームワークであるEFRameを紹介する。 この統合されたフレームワークは、探索、効率、安定性のバランスをとる、原則化されたトレーニングサイクルを確立します。
  論文  参考訳（メタデータ） (2025-06-27T13:09:05Z)
• LLM-Explorer: A Plug-in Reinforcement Learning Policy Exploration Enhancement Driven by Large Language Models [42.53342297631436]
  政策探究は強化学習(RL)において重要であり、既存のアプローチには欲求、ガウス過程などが含まれる。 大規模言語モデル(LLM)を用いたタスク固有探索戦略を適応的に生成するLLM-Explorerを設計する。 我々の設計は、DQNシリーズ、DDPG、TD3など、広く使われているRLアルゴリズムと互換性のあるプラグインモジュールである。
  論文  参考訳（メタデータ） (2025-05-21T09:24:23Z)
• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  RLE(Random Latent Exploration)は、強化学習における単純かつ効果的な探索戦略である。 RLEは、エージェントの行動を混乱させるノイズベースの手法と、新しい行動を試みるエージェントに報酬を与えるボーナスベースの探索を平均的に上回る。 RLEはノイズベースの手法と同じくらい単純であり、複雑なボーナス計算は避けるが、ボーナスベースの手法の深い探索の利点を保っている。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)
• Curiosity & Entropy Driven Unsupervised RL in Multiple Environments [0.0]
  オリジナル作品に5つの新しい修正を加えて実験する。 高次元環境では、好奇心による探索は、エージェントに多様な経験を求め、未知のものを探索するように促すことによって学習を促進する。 しかし、探索可能性に制約があり、エージェントに真に知られていないような、低次元でシンプルな環境では、その利点は限られている。
  論文  参考訳（メタデータ） (2024-01-08T19:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。