論文の概要: Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2505.20561v1
• Date: Mon, 26 May 2025 22:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.310424
• Title: Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning
• Title（参考訳）: Beyond Markovian: LLM推論のためのベイズ適応RLによる反射探査
• Authors: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li,
• Abstract要約: 我々はベイズ適応RLフレームワークにおける反射探査を再放送する。 我々のアルゴリズムであるBARLは、観測結果に基づいて戦略を縫い替えるようにLLMに指示する。
• 参考スコア（独自算出の注目度）: 55.36978389831446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.
• Abstract（参考訳）: 強化学習(RL)を通じて訓練された大規模言語モデル(LLM)は、バックトラックやエラー修正といった、強い推論能力と創発的な反射行動を示す。 しかし、従来のマルコフ的RLは最適な決定論的な政策を学ぶための訓練段階への探索を制限し、現在の状態を通してのみ歴史の文脈に依存する。 したがって、Markovian RLトレーニング中に反射的推論が現れるのか、それともテスト時に有益なのかは、まだ不明である。 これを解決するため、マルコフ決定過程の後方分布下で期待されるリターンを明示的に最適化するベイズ・アダプティブRLフレームワーク内の反射探索を再放送する。 このベイズ的定式化は、本質的に報酬を最大化する搾取と、信条更新による情報収集探索の両方にインセンティブを与える。 得られたアルゴリズムであるBARLは、観測結果に基づいて戦略を縫合し、切り替えるようにLLMに指示し、モデルがいつ、どのように反射的に探索すべきかについての原則化されたガイダンスを提供する。 合成および数学的推論タスクにおける実験結果は、BARLが標準マルコフRLアプローチよりも優れ、探索効率を向上して優れたトークン効率を達成することを示す。 私たちのコードはhttps://github.com/shenao-zhang/BARL.comで公開されています。

関連論文リスト

• Bridging Supervised Learning and Reinforcement Learning in Math Reasoning [55.889740979706815]
  強化学習(Reinforcement Learning, RL)は、二分検証信号による自己改善を可能にすることで、近年の数学能力の急上昇において中心的な役割を担っている。 本研究は,LLMが障害を反映し,外部教師なしで自律的に改善できる教師型アプローチである負認識ファインチューニング(NFT)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:17:40Z)
• RL in Name Only? Analyzing the Structural Assumptions in RL post-training for LLMs [14.78605805191225]
  近年,大規模言語モデル(LLM)の強化学習に基づくポストトレーニングが注目されている。 これらの手法の基礎となる定式化と仮定を批判的に検討する。
  論文  参考訳（メタデータ） (2025-05-19T19:57:15Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [67.30809748319486]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• Reinforcement Learning from LLM Feedback to Counteract Goal Misgeneralization [0.0]
  強化学習(RL)における目標誤一般化に対処する手法を提案する。 目標の誤一般化は、エージェントがその能力のアウト・オブ・ディストリビューションを維持しながら、意図したものよりもプロキシを追求する場合に発生する。 本研究では,大規模言語モデルを用いてRLエージェントを効率的に監視する方法を示す。
  論文  参考訳（メタデータ） (2024-01-14T01:09:48Z)
• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。