論文の概要: Progress Reward Model for Reinforcement Learning via Large Language Models

• arxiv url: http://arxiv.org/abs/2610.22056v1
• Date: Thu, 15 Oct 2026 15:21:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.156293
• Title: Progress Reward Model for Reinforcement Learning via Large Language Models
• Title（参考訳）: 大規模言語モデルによる強化学習のためのプログレッシブ・リワードモデル
• Abstract要約: タスク計画と高密度報酬を統合してRLを強化する新しいフレームワークであるPRM4RL(Progress Reward Model for RL)を提案する。 高レベルの計画では、複雑なタスクを一連の単純な管理可能なサブタスクに分解し、タスク実行の進捗を監視するためにサブタスク指向できめ細かなプログレス関数を設計する。 低レベルの報酬生成は、ポテンシャルに基づく報酬形成にインスパイアされ、プログレッシブ・リワード・モデル(PRM)の構築にプログレッシブ・ファンクションを使用し、理論上は最適性と収束の保証を提供する。
• 参考スコア（独自算出の注目度）: 23.255377811258498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional reinforcement learning (RL) algorithms face significant limitations in handling long-term tasks with sparse rewards. Recent advancements have leveraged large language models (LLMs) to enhance RL by utilizing their world knowledge for task planning and reward generation. However, planning-based approaches often depend on pre-defined skill libraries and fail to optimize low-level control policies, while reward-based methods require extensive human feedback or exhaustive searching due to the complexity of tasks. In this paper, we propose the Progress Reward Model for RL (PRM4RL), a novel framework that integrates task planning and dense reward to enhance RL. For high-level planning, a complex task is decomposed into a series of simple manageable subtasks, with a subtask-oriented, fine-grained progress function designed to monitor task execution progress. For low-level reward generation, inspired by potential-based reward shaping, we use the progress function to construct a Progress Reward Model (PRM), providing theoretically grounded optimality and convergence guarantees, thereby enabling effective policy optimization. Experimental results on robotics control tasks demonstrate that our approach outperforms both LLM-based planning and reward methods, achieving state-of-the-art performance. Code is available at https://github.com/deng-ai-lab/PRM4RL.
• Abstract（参考訳）: 従来の強化学習(RL)アルゴリズムは、細かな報酬で長期的なタスクを扱う際に、重大な制限に直面している。 近年,多言語モデル(LLM)を活用して,タスク計画や報酬生成に世界的知識を活用することでRLを向上している。 しかしながら、計画ベースのアプローチは、しばしば事前に定義されたスキルライブラリに依存し、低レベルの制御ポリシーを最適化するのに失敗する。 本稿では、タスク計画と高密度報酬を統合してRLを強化する新しいフレームワークであるPRM4RL(Progress Reward Model for RL)を提案する。 高レベルの計画では、複雑なタスクを一連の単純な管理可能なサブタスクに分解し、タスク実行の進捗を監視するためにサブタスク指向できめ細かなプログレス関数を設計する。 低レベルの報酬生成は、ポテンシャルに基づく報酬形成にインスパイアされ、プログレッシブ・リワード・モデル(PRM)の構築にプログレッシブ関数を使用し、理論上は最適性と収束性の保証を提供し、効果的な政策最適化を可能にする。 ロボット制御タスクの実験結果から,本手法はLLMに基づく計画法と報奨法の両方に優れ,最先端性能を実現していることが示された。 コードはhttps://github.com/deng-ai-lab/PRM4RLで公開されている。

関連論文リスト

• Test-driven Reinforcement Learning [1.1142354615369274]
  本稿では,テスト駆動型強化学習(TdRL)フレームワークを提案する。 TdRLでは、単一の報酬関数ではなくタスク目的を表すために複数のテスト関数が使用される。 政策訓練において,TdRLは手作り報酬法に適合し,性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-11T06:58:52Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling [66.0871543682453]
  我々はOmni-Thinkerについて紹介する。Omni-Thinkerは多種多様なタスクにわたって大きな言語モデルをスケールする統合強化学習フレームワークである。 我々のスケジューラは,BWTに基づいてタスクを順序付けし,マルチタスク性能を向上する。
  論文  参考訳（メタデータ） (2025-07-20T01:50:16Z)
• MaskSearch: A Universal Pre-Training Framework to Enhance Agentic Search Capability [106.35604230971396]
  最近のエージェント技術の進歩により、大規模言語モデル(LLM)は、検索、計画、推論のためのツールを自律的に活用することができる。 エージェントの普遍的な検索能力を高めるために,新しい事前学習フレームワークMaskSearchを提案する。 事前学習の段階では、検索ツールを用いてマスク付きスパンを埋めるRetrieval Augmented Mask Prediction (RAMP)タスクを導入する。 その後、モデルは下流のタスクでトレーニングされ、さらなる改善が達成されます。
  論文  参考訳（メタデータ） (2025-05-26T17:58:50Z)
• SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks [110.20297293596005]
  大規模言語モデル(LLM)エージェントは、実世界のタスクでマルチターンインタラクションを実行する必要がある。 LLMエージェントを最適化するための既存のマルチターンRLアルゴリズムは、LLMの一般化能力を活用しながら、複数回にわたって効果的なクレジット割り当てを行うことができない。 本稿では,新たなRLアルゴリズムであるSWEET-RLを提案する。 我々の実験は、SWEET-RLがコルベンチにおける成功率と勝利率を、他の最先端マルチターンRLアルゴリズムと比較して6%向上することを示した。
  論文  参考訳（メタデータ） (2025-03-19T17:55:08Z)
• Adaptive Reward Design for Reinforcement Learning [2.3031174164121127]
  本稿では,RLエージェントをインセンティブとして,論理式で指定されたタスクを可能な限り完了させる報奨関数群を提案する。 学習過程において報酬関数を動的に更新する適応型報酬生成手法を開発した。
  論文  参考訳（メタデータ） (2024-12-14T18:04:18Z)
• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• Stage-Wise Reward Shaping for Acrobatic Robots: A Constrained Multi-Objective Reinforcement Learning Approach [12.132416927711036]
  本稿では,直感的戦略による報酬形成プロセスの簡略化を目的としたRL手法を提案する。 制約付き多目的RL(CMORL)フレームワークにおいて,複数の報酬関数とコスト関数を定義する。 逐次的な複雑な動きを含むタスクに対しては、タスクを異なるステージに分割し、各ステージに対する複数の報酬とコストを定義します。
  論文  参考訳（メタデータ） (2024-09-24T05:25:24Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。