論文の概要: GR2PO: Group Relative Return Policy Optimization for Continuous Robot Control

• arxiv url: http://arxiv.org/abs/2609.19850v1
• Date: Thu, 17 Sep 2026 08:03:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.158763
• Title: GR2PO: Group Relative Return Policy Optimization for Continuous Robot Control
• Title（参考訳）: GR2PO:連続ロボット制御のためのグループ相対リターンポリシー最適化
• Abstract要約: Group Relative Return Policy Optimization (GR2PO)は、継続的ロボット制御のための批判のない強化学習フレームワークである。 GR2POは、並列収集されたトラジェクトリからの割引されたリターンを推定し、ロールアウト時間インデックス毎にグループ正規化を行い、相対的なアドバンテージとクリップされたターゲットを使用してポリシーを更新する。 その結果、GR2POは、即時報酬を使用し、最先端のアクター批判手法と競合する、批評家なしのベースラインを著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 24.541914524911608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Actor-critic architecture has been widely used in continuous robot control. However, they rely on learning a value network, introducing additional computational overhead during training. Moreover, policy learning may also be affected by the approximation error of value estimation. Critic-free group relative policy optimization methods provide a simpler training approach by removing the need for a critic. However, they fail to learn long-term action outcomes when directly applying immediate rewards to policy optimization in dense-reward environments. To address these problems, we propose Group Relative Return Policy Optimization (GR2PO), a critic-free reinforcement learning framework for continuous robot control. GR2PO estimates the discounted returns from the parallelly collected trajectories, performs group normalization at each rollout time index, and uses relative advantages and clipped targets to update the policy. To evaluate the effectiveness of the proposed framework, we instantiate it on robot control simulation environments and deploy the model to a real-world edge device. The results show that GR2PO significantly outperforms critic-free baselines that use immediate rewards and performs competitively against state-of-the-art actor-critic methods. Furthermore, GR2PO demonstrates competitive training efficiency. Inference tests on NVIDIA Jetson TX2 demonstrate the feasibility of deploying the learned policies on edge platforms. Further ablation experiments analyze the effects of parallel group size, return estimation methods, and target clipping ratio on learning performance. To support follow-up research, we will make the complete code publicly available after the paper is accepted, including the framework implementation, experimental configuration, and training and evaluation scripts.
• Abstract（参考訳）: アクター批判アーキテクチャは連続ロボット制御に広く用いられている。 しかし、それらはバリューネットワークの学習に依存しており、トレーニング中にさらなる計算オーバーヘッドを導入する。 さらに、ポリシー学習は、値推定の近似誤差にも影響される可能性がある。 批判のないグループ相対的ポリシー最適化手法は、批判者の必要性を取り除くことにより、より簡単なトレーニング手法を提供する。 しかし、厳密なリワード環境における政策最適化に直接即時報酬を適用すると、長期的な行動結果の学習に失敗する。 このような問題に対処するために,我々は,連続ロボット制御のための批判のない強化学習フレームワークであるグループ相対リターンポリシー最適化(GR2PO)を提案する。 GR2POは、並列収集されたトラジェクトリからの割引されたリターンを推定し、ロールアウト時間インデックス毎にグループ正規化を行い、相対的なアドバンテージとクリップされたターゲットを使用してポリシーを更新する。 提案手法の有効性を評価するため,ロボット制御シミュレーション環境上でインスタンス化し,実世界のエッジデバイスにモデルをデプロイする。 その結果、GR2POは、即時報酬を使用し、最先端のアクター批判手法と競合する、批評家なしのベースラインを著しく上回っていることがわかった。 さらに、GR2POは競争訓練効率を示す。 NVIDIA Jetson TX2での推論テストは、学習したポリシをエッジプラットフォームにデプロイする可能性を示している。 さらなるアブレーション実験は、並列グループサイズ、戻り推定方法、ターゲットクリッピング比が学習性能に与える影響を解析する。 フォローアップ研究を支援するため、フレームワークの実装、実験構成、トレーニングおよび評価スクリプトを含む、論文が受け入れられた後、完全なコードを公開します。

関連論文リスト

• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition [52.232968183793986]
  General Policy Composition (GPC) は、複数の事前学習されたポリシーの分布スコアを組み合わせることで、パフォーマンスを向上させる訓練のない手法である。 GPCは、さまざまなタスクセットにおけるパフォーマンスと適応性を一貫して改善します。
  論文  参考訳（メタデータ） (2025-10-01T16:05:53Z)
• GTPO: Trajectory-Based Policy Optimization in Large Language Models [42.60363805227946]
  政策に基づく最適化は、今日の言語モデルのトレーニングとアライメントに広く採用されている。 本稿では,GRPOの2つの大きな限界を明らかにし,解析する。 コンフリクトトークンを識別するGTPOを導入する。
  論文  参考訳（メタデータ） (2025-08-05T08:15:01Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。