論文の概要: Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers
- arxiv url: http://arxiv.org/abs/2610.08561v1
- Date: Tue, 06 Oct 2026 15:43:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.090836
- Title: Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers
- Title（参考訳）: 階層的Reasoning Rewardsのための強化学習:変換器を用いた最小最適レート
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、推論タスクにおける言語モデルの訓練後の標準ツールである。
オンライン調査では,報酬が集中している地域を徐々に拡大し,RLポストトレーニングのメリットを定量化している。
- 参考スコア（独自算出の注目度）: 55.3749098112392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) has become a standard tool for post-training language models on reasoning tasks, where the policy is updated by reward feedback while exploring the space of responses. Despite its empirical success, theoretical understanding of RL post-training remains limited, in particular of why on-policy exploration combined with a neural reward model is effective. In this paper, we address this question by modeling the reward as a hierarchical function on the response space: the reward consists of infinitely many local components, each of which becomes relevant only after the preceding ones have been resolved. We show that a natural Transformer-based actor--critic algorithm, which alternates between sampling from the current KL-regularized policy, fitting a Transformer critic to the observed rewards, and updating the policy, achieves the minimax optimal rates in the query budget and in the regularization strength up to logarithmic factors, and is minimax optimal for a fixed number of prompts. In contrast, we prove that sampling from the fixed reference distribution, as in offline reward modeling, can limit regret decay to a logarithmic rate. These results show that on-policy exploration progressively zooms in on the region where the reward is concentrated, and quantify its benefit for RL post-training.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、応答の空間を探索しながら報酬フィードバックによってポリシーを更新する推論タスクにおける言語モデルの訓練後の標準ツールとなっている。
実証的な成功にもかかわらず、RLのポストトレーニングに関する理論的理解は依然として限られている。
本稿では,報酬を応答空間上の階層関数としてモデル化することでこの問題に対処する:報酬は無限に多くの局所成分から構成される。
提案手法は,現行のKL規則化ポリシからのサンプリングを交互に行い,トランスフォーマー評論家を観察された報酬に適合させ,ポリシーを更新し,クエリ予算における最小最適率と正規化強度を対数要因まで最大値とし,一定数のプロンプトに対して最小値であることを示す。
対照的に、固定基準分布からのサンプリングは、オフラインの報酬モデリングのように、後悔の減衰を対数率に制限することができることを証明している。
これらの結果から, 報奨が集中している地域では, オンライン調査が徐々に拡大し, RLポストトレーニングのメリットを定量化していることがわかった。
関連論文リスト
- Value-Gradient Hypothesis of RL for LLMs [1.983259889617852]
強化学習は事前訓練された言語モデルを大幅に改善する。
PPOやGRPOのような批判のない手法がなぜ機能するのか、いつ最大の利益をもたらすべきかは、いまだ検討されていない。
論文 参考訳（メタデータ） (2026-05-20T19:09:05Z) - On Training in Imagination [69.97419830683606]
最先端のモデルに基づく強化学習手法は、想像上のロールアウトに関するポリシーを訓練する。
学習力学と報酬モデルにおける誤差が回帰や政策最適化に与える影響について検討する。
論文 参考訳（メタデータ） (2026-05-07T12:51:32Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Scalable Submodular Policy Optimization via Pruned Submodularity Graph [2.8672152503836]
強化学習(RL)では、エージェントが可能なアクションのセットを介して環境と対話し、未知の分布から報酬が生成される。
ここでの課題は、ある時間ステップ後の報酬が最大化されるような、最適な一連のアクションを見つけることである。
論文 参考訳（メタデータ） (2025-07-18T11:42:07Z) - Reinforcement Learning from Bagged Reward [46.16904382582698]
強化学習(RL)では、エージェントが取るアクション毎に即時報奨信号が生成されることが一般的である。
多くの実世界のシナリオでは、即時報酬信号の設計は困難である。
本稿では,双方向の注意機構を備えた新たな報酬再分配手法を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:26:44Z) - On Reward-Free Reinforcement Learning with Linear Function Approximation [144.4210285338698]
Reward-free reinforcement learning (RL) は、バッチRL設定と多くの報酬関数がある設定の両方に適したフレームワークである。
本研究では,線形関数近似を用いた報酬のないRLに対して,正と負の両方の結果を与える。
論文 参考訳（メタデータ） (2020-06-19T17:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。