論文の概要: Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning

• arxiv url: http://arxiv.org/abs/2606.21943v1
• Date: Sat, 20 Jun 2026 08:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 23:43:03.730245
• Title: Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning
• Title（参考訳）: LLMのモジュール化強化学習:MDP創造から探索・学習へ
• Authors: Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievski, Shujian Yu, Aske Plaat, Zhaochun Ren, Mark Hoogendoorn, Vincent François-Lavet,
• Abstract要約: この調査はアルゴリズム構築の3段階の検証を整理する。 まず, 報酬関数, 状態空間, 行動空間, 終了条件, 割引係数をどのように定義するか, あるいは, LLMトレーニングで定義することができる。 次に、探索、温度サンプリング、エントロピー正規化、本質的な動機づけ、木探索、カリキュラム学習に目を向けます。
• 参考スコア（独自算出の注目度）: 65.72189367176186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has become central to LLM post-training, yet the methods that dominate current pipelines, PPO and GRPO, represent only a narrow slice of what RL offers. Understanding why these methods prevail, and what alternatives exist, requires a principled examination of the design decisions that underlie any RL algorithm. This survey organizes that examination around three stages of algorithm construction. We begin with MDP creation: how the reward function, state space, action space, termination condition, and discount factor are, or could be, defined for LLM training. We then turn to exploration, covering temperature sampling, entropy regularization, intrinsic motivation, tree search, and curriculum learning. Finally, we address learning along four classical RL dimensions: model-free versus model-based, value-based versus policy-based versus actor-critic, on-policy versus off-policy, and credit assignment, including both Monte Carlo methods, which rely on full return estimates, and bootstrapping methods, which update estimates using other learned predictions. Mapping the LLM literature onto this taxonomy reveals a strikingly non-uniform distribution of research effort. Critic-free policy gradients and Monte Carlo credit assignment are densely populated, while value-based methods, off-policy actor-critic training, and bootstrapping-based credit assignment remain largely unexplored despite well-established counterparts in classical RL. These gaps represent concrete opportunities for transferring proven RL techniques to LLM training. By making these gaps explicit alongside the methods that have proven effective, this survey offers researchers in both RL and LLMs a shared framework for understanding current practice and identifying promising directions for future work.
• Abstract（参考訳）: 強化学習(RL)はLLMポストトレーニングの中心となっているが、現在のパイプラインであるPPOとGRPOを支配している手法は、RLが提供するものの狭いスライスに過ぎない。 これらの手法がなぜ普及し、どのような代替手段が存在するかを理解するには、RLアルゴリズムの基盤となる設計決定を原則的に検討する必要がある。 この調査はアルゴリズム構築の3段階の検証を整理する。 まず, 報酬関数, 状態空間, 行動空間, 終了条件, 割引係数をどのように定義するか, あるいは, LLMトレーニングで定義することができる。 次に、探索、温度サンプリング、エントロピー正規化、本質的な動機づけ、木探索、カリキュラム学習に目を向けます。 最後に、モデルフリー、モデルベース、価値ベース、ポリシーベース、アクタークリティカル、オン・ポリティ、オフ・ポリティ、クレジット割り当ての4つの古典的なRL次元に沿った学習に対処する。 LLMの文献をこの分類にマッピングすると、研究努力の極めて一様でない分布が明らかになる。 批判のない政策グラデーションとモンテカルロクレジットの割り当ては人口密度が高く、価値に基づく手法、非政治的なアクター-クリティカルトレーニング、ブートストラップベースのクレジットの割り当ては、古典的なRLで確立されているにもかかわらず、ほとんど探索されていない。 これらのギャップは、証明済みのRL技術をLLMトレーニングに移行する具体的な機会を示している。 これらのギャップを効果的に証明された手法とともに明確化することにより、RLとLLMの研究者は、現在の実践を理解し、将来の作業の有望な方向性を特定するための共有フレームワークを提供する。

関連論文リスト

• Reinforcement Learning Meets Large Language Models: A Survey of Advancements and Applications Across the LLM Lifecycle [66.80133103857703]
  強化学習(RL)は、大規模言語モデル(LLM)の推論とアライメント性能を著しく向上させた。 本調査は, RL と LLM の交差点における最新の発展とフロンティアの動向を研究者や実践者に提示することを目的としている。
  論文  参考訳（メタデータ） (2025-09-20T13:11:28Z)
• LLM-Explorer: A Plug-in Reinforcement Learning Policy Exploration Enhancement Driven by Large Language Models [42.53342297631436]
  政策探究は強化学習(RL)において重要であり、既存のアプローチには欲求、ガウス過程などが含まれる。 大規模言語モデル(LLM)を用いたタスク固有探索戦略を適応的に生成するLLM-Explorerを設計する。 我々の設計は、DQNシリーズ、DDPG、TD3など、広く使われているRLアルゴリズムと互換性のあるプラグインモジュールである。
  論文  参考訳（メタデータ） (2025-05-21T09:24:23Z)
• RL in Name Only? Analyzing the Structural Assumptions in RL post-training for LLMs [14.78605805191225]
  近年,大規模言語モデル(LLM)の強化学習に基づくポストトレーニングが注目されている。 これらの手法の基礎となる定式化と仮定を批判的に検討する。
  論文  参考訳（メタデータ） (2025-05-19T19:57:15Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。