論文の概要: REFINEPPO: Learning Continuous Control Policies by Iterative Action Refinement
- arxiv url: http://arxiv.org/abs/2609.21108v1
- Date: Thu, 17 Sep 2026 21:48:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.785199
- Title: REFINEPPO: Learning Continuous Control Policies by Iterative Action Refinement
- Title（参考訳）: REFINEPPO:反復的アクションリファインメントによる継続的制御ポリシの学習
- Abstract要約: IAR(Iterative Action Refinement)は,学習された残差補正のシーケンスを通じて制御動作を構築する反復的動作再構成法である。
我々は、この反復的な行動構成機構をPPO(Proximal Policy Optimization)と統合し、REFINEPPOを生成する。
我々は,14のベンチマーク制御タスクに対してREFINEPPOを評価し,改良深度制御と更新スケジュール,反復改良が有効である理由の解明を目的とした解析を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep reinforcement learning (DRL) has achieved strong performance across a wide range of continuous-control problems. These continuous-control policies, however, are often defined as direct mappings from an observed state to an action or action distribution, requiring a single feed-forward network to construct an optimal control decision in one pass. While effective, this formulation leaves little opportunity for the policy to reconsider or progressively improve an action once an initial prediction has been formed. In this work, we explore an alternative approach: rather than learning only to directly predict an action, can a policy learn to iteratively improve one, and can this iterative process provide advantages during policy learning? We introduce Iterative Action Refinement (IAR), an iterative action-construction method that constructs control actions through a sequence of learned residual corrections. Starting from an initial proposal, a shared refinement network repeatedly conditions on the observed state and the current action proposal, allowing each refinement step to revise the action constructed by preceding steps. The final refined proposal is then used to determine the action executed by the agent. We integrate this iterative action-construction mechanism with Proximal Policy Optimization (PPO), yielding REFINEPPO. We evaluate REFINEPPO across 14 benchmark control tasks, complemented by controlled ablations of refinement depth and update schedules and analyses aimed at understanding why iterative refinement is effective. Across these environments, REFINEPPO matches or exceeds the performance of standard PPO while demonstrating faster convergence on several tasks.
- Abstract（参考訳）: 深部強化学習(DRL)は,多種多様な連続制御問題に対して高い性能を達成している。
しかしながら、これらの連続制御ポリシーは、しばしば観察された状態からアクションやアクションの分布への直接マッピングとして定義され、単一のフィードフォワードネットワークが1回のパスで最適な制御決定を構築する必要がある。
この定式化は有効であるが、初期予測が成立すると、政策を再考したり、段階的に改善したりする機会はほとんど残っていない。
アクションを直接予測することだけを学ぶのではなく、ポリシーが反復的に改善することを学ぶことができ、この反復的なプロセスはポリシー学習の間に利点を提供できるか?
IAR(Iterative Action Refinement)は,学習された残差補正のシーケンスを通じて制御動作を構築する反復的動作再構成法である。
最初の提案から始まり、共有精錬ネットワークは観測された状態と現在の行動提案を繰り返し条件付けし、各精錬ステップが先行ステップで構築された動作を修正できるようにする。
最後の改良された提案は、エージェントによって実行されるアクションを決定するために使用される。
我々は、この反復的な行動構成機構をPPO(Proximal Policy Optimization)と統合し、REFINEPPOを生成する。
我々は,14のベンチマーク制御タスクに対してREFINEPPOを評価し,改良深度制御と更新スケジュール,反復改良が有効である理由の解明を目的とした解析を行った。
これらの環境全体において、REFINEPPOは標準的なPPOの性能と一致し、複数のタスクにおいてより高速な収束を示す。
関連論文リスト
- OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。
この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。
OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-05-04T18:36:40Z) - Segment-Aligned Policy Optimization for Multi-Modal Reasoning [55.29606572822562]
本稿では、トークンや全シーケンスではなく、一貫性のある推論ステップをポリシー更新の基本単位として扱う新しい強化学習パラダイムを提案する。
代表的な推論ベンチマークの実験は、SAPOがトークンレベルおよびシーケンスレベルポリシー最適化手法を一貫して上回っていることを示している。
我々の研究は、強化学習の更新を推論の構造と整合させることの重要性を強調し、複雑な推論タスクにおけるより効率的でセマンティックに根ざした政策最適化の道を開く。
論文 参考訳（メタデータ） (2026-05-02T08:47:45Z) - Policy Improvement Reinforcement Learning [40.05196753615896]
Reinforcement Learning with Verifiable Rewards (RLVR) は、大規模言語モデルの推論能力を改善するためのトレーニング後の中心的なパラダイムとなっている。
既存のメソッドは共通の盲点を共有している: 結果の更新によってモデルが実際に改善されたかどうかを検証することなく、即時のグループレベルまたはバッチレベルの統計に基づいてポリシーを最適化する。
我々は、政策改善のフィードバックが欠落していること、すなわち、中間段階の進捗を直接測定し、最適化する能力が欠けていることを論じる。
論文 参考訳（メタデータ） (2026-04-01T13:10:20Z) - PRISM: Personalized Refinement of Imitation Skills for Manipulation via Human Instructions [0.6299766708197883]
本稿では,ロボット操作における模倣ポリシーのための命令条件改善手法であるPRISMを提案する。
アプローチはImitation Learning (IL)とReinforcement Learning (RL)フレームワークをシームレスなパイプラインにブリッジする。
シミュレーションシナリオにおけるピック・アンド・プレイス・タスクの結果,提案手法は人的フィードバックを伴わずにポリシーを上回ることを示した。
論文 参考訳（メタデータ） (2026-03-05T17:05:08Z) - A KL-regularization framework for learning to plan with adaptive priors [1.0246259631050245]
政策最適化モデル予測制御(PO-MPC)を導入する。
PO-MPCは、政策最適化の先駆けとしてプランナーの行動分布を統合する。
実験により,これらの拡張構成により,大幅な性能向上が得られた。
論文 参考訳（メタデータ） (2025-10-05T16:45:38Z) - Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。
有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。
本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
論文 参考訳（メタデータ） (2025-04-10T16:14:17Z) - Efficient Action-Constrained Reinforcement Learning via Acceptance-Rejection Method and Augmented MDPs [13.443196224057658]
行動制約強化学習(ACRL)は、行動制約違反をゼロとする制御ポリシーを学習するための一般的なフレームワークである。
本稿では、標準制約のないRL法をACRLに適用できる汎用的で効率的なフレームワークを提案する。
提案手法は,現状のACRL法よりも高速なトレーニング,制約満足度の向上,アクション推論時間の短縮を実現している。
論文 参考訳（メタデータ） (2025-03-17T08:41:43Z) - PRACT: Optimizing Principled Reasoning and Acting of LLM Agent [96.10771520261596]
本稿では、軌道データから行動原理を学習し、強制するための新しい手法である、原則推論と行為(PRAct)フレームワークを紹介する。
我々は,行動原理を特定のタスク要求に適応させるため,新しい最適化フレームワークであるリフレクティブ原則最適化(RPO)を提案する。
4つの環境にまたがる実験の結果、PRActエージェントは、RPOフレームワークを活用し、効果的に学習し、パフォーマンスを高めるためにアクション原則を適用します。
論文 参考訳（メタデータ） (2024-10-24T08:21:51Z) - Theoretically Guaranteed Policy Improvement Distilled from Model-Based
Planning [64.10794426777493]
モデルベース強化学習(RL)は、様々な連続制御タスクにおいて顕著な成功を収めた。
近年のプラクティスでは、最適化されたアクションシーケンスをトレーニングフェーズ中にRLポリシーに蒸留する傾向にある。
我々は,モデルに基づく計画から政策への蒸留アプローチを開発する。
論文 参考訳（メタデータ） (2023-07-24T16:52:31Z) - Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization [15.945378631406024]
強化学習(RL)は、具体的制御、自律運転、金融取引といった意思決定タスクにおいて、素晴らしいパフォーマンスを示している。
多くの意思決定タスクでは、エージェントは限られた予算の下でアクションを実行するという問題に遭遇する。
本稿では,行動空間における特定の行動が限られた時間しか実行できないスパース行動マルコフ決定プロセス(SA-MDP)としてこの問題を定式化する。
本稿では,ポリシー最適化アルゴリズムであるAction Sparsity Regularization (ASRE)を提案する。
論文 参考訳（メタデータ） (2021-05-18T16:50:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。