論文の概要: Experience is the Best Teacher: Motivating Effective Exploration in Reinforcement Learning for LLMs

• arxiv url: http://arxiv.org/abs/2603.20046v1
• Date: Fri, 20 Mar 2026 15:32:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.208658
• Title: Experience is the Best Teacher: Motivating Effective Exploration in Reinforcement Learning for LLMs
• Title（参考訳）: 最高の教師としての体験: LLMの強化学習における効果的な探索の動機付け
• Authors: Wenjian Zhang, Kongcheng Zhang, Jiaxin Qi, Baisheng Lai, Jianqiang Huang,
• Abstract要約: HeRLは、強化学習フレームワークをガイドしたHindsightエクスペリエンスである。 我々は,HRLがLLMに対して,報酬に指定された望ましい振る舞いを明示的に示すことによって,効果的な探索を行う方法を示す。
• 参考スコア（独自算出の注目度）: 17.47321135631444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) with rubric-based rewards has recently shown remarkable progress in enhancing general reasoning capabilities of Large Language Models (LLMs), yet still suffers from ineffective exploration confined to curent policy distribution. In fact, RL optimization can be viewed as steering the policy toward an ideal distribution that maximizes the rewards, while effective exploration should align efforts with desired target. Leveraging this insight, we propose HeRL, a Hindsight experience guided Reinforcement Learning framework to bootstrap effective exploration by explicitly telling LLMs the desired behaviors specified in rewards. Concretely, HeRL treats failed trajectories along with their unmet rubrics as hindsight experience, which serves as in-context guidance for the policy to explore desired responses beyond its current distribution. Additionally, we introduce a bonus reward to incentivize responses with greater potential for improvement under such guidance. HeRL facilitates effective learning from desired high quality samples without repeated trial-and-error from scratch, yielding a more accurate estimation of the expected gradient theoretically. Extensive experiments across various benchmarks demonstrate that HeRL achieves superior performance gains over baselines, and can further benefit from experience guided self-improvement at test time. Our code is available at https://github.com/sikelifei/HeRL.
• Abstract（参考訳）: Reinforcement Learning (RL) with rubric-based rewards has shown a significant progress in further general reasoning capabilities of Large Language Models (LLMs)。 実際、RL最適化は報酬を最大化する理想的な分布に向けてポリシーを操り、効果的な探索は望ましい目標に努力を合わせるべきであると見なすことができる。 この知見を生かして、我々は、LLMに報酬に指定された望ましい振る舞いを明示的に教えることにより、効果的な探索をブートストラップするためのHRL(Hendsight Experience Guided Reinforcement Learning framework)を提案する。 具体的には、HeRLは未完成のルーブリックとともに軌道の失敗を後見体験として扱い、これは現在の分布を超えて望ましい反応を探求する政策のコンテキスト内ガイダンスとして機能する。 さらに,このような指導の下で改善の可能性が高められた応答をインセンティブ化するためのボーナス報酬を導入する。 HeRLは、望まれる高品質なサンプルをスクラッチから繰り返し試行錯誤することなく効果的に学習し、理論的に予測される勾配をより正確に推定する。 さまざまなベンチマークにわたる大規模な実験により、HeRLはベースラインよりも優れたパフォーマンス向上を実現し、テスト時に自己改善をガイドした経験からさらに恩恵を受けることが示されている。 私たちのコードはhttps://github.com/sikelifei/HeRL.comで公開されています。

関連論文リスト

• Diversity or Precision? A Deep Dive into Next Token Prediction [19.30494719444709]
  本研究では,事前学習したトークン出力分布が,その後の強化学習の探索ポテンシャルをいかに形成するかを検討する。 精度指向の勾配を先行させると、RLのより優れた探索空間が得られることが分かる。
  論文  参考訳（メタデータ） (2025-12-28T14:53:24Z)
• Attention as a Compass: Efficient Exploration for Process-Supervised RL in Reasoning Models [47.05227816684691]
  推論モデルの効率的な探索を可能にする新しいPSRLフレームワーク(AttnRL)を提案する。 高い注意点を示すステップが推論行動と相関しているという予備観測により,高い値を持つ位置から分岐することを提案する。 我々は,問題の難易度と過去のバッチサイズを考慮に入れた適応型サンプリング戦略を開発し,トレーニングバッチ全体が非ゼロの利点値を維持することを保証する。
  論文  参考訳（メタデータ） (2025-09-30T17:58:34Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning [55.36978389831446]
  我々はベイズ適応RLフレームワークにおける反射探査を再放送する。 我々のアルゴリズムであるBARLは、観測結果に基づいて戦略を縫い替えるようにLLMに指示する。
  論文  参考訳（メタデータ） (2025-05-26T22:51:00Z)
• Preference-Guided Reinforcement Learning for Efficient Exploration [14.058764537783086]
  LOPE: textbfLearning textbfOnline with trajectory textbfPreferencedanctextbfE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能の点で、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。