論文の概要: Extending Group Relative Policy Optimization to Continuous Control: A Theoretical Framework for Robotic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2507.19555v1
• Date: Fri, 25 Jul 2025 05:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.656983
• Title: Extending Group Relative Policy Optimization to Continuous Control: A Theoretical Framework for Robotic Reinforcement Learning
• Title（参考訳）: グループ相対的政策最適化を継続的制御に拡張する:ロボット強化学習のための理論的枠組み
• Authors: Rajat Khanda, Mohammad Baqar, Sambuddha Chakrabarti, Satyasaran Changdar,
• Abstract要約: グループ相対政策最適化(GRPO)は、グループベースの優位性推定を通じて値関数依存を排除し、離散的な行動空間において有望であることを示す。 本稿では,GRPOを連続制御環境に拡張し,高次元行動空間における課題,スパース報酬,時間的ダイナミクスに対処する理論的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Group Relative Policy Optimization (GRPO) has shown promise in discrete action spaces by eliminating value function dependencies through group-based advantage estimation. However, its application to continuous control remains unexplored, limiting its utility in robotics where continuous actions are essential. This paper presents a theoretical framework extending GRPO to continuous control environments, addressing challenges in high-dimensional action spaces, sparse rewards, and temporal dynamics. Our approach introduces trajectory-based policy clustering, state-aware advantage estimation, and regularized policy updates designed for robotic applications. We provide theoretical analysis of convergence properties and computational complexity, establishing a foundation for future empirical validation in robotic systems including locomotion and manipulation tasks.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、グループベースの優位性推定を通じて値関数依存を排除し、離散的な行動空間において有望であることを示す。 しかし、連続制御へのその応用は未解明のままであり、連続的な動作が不可欠であるロボット工学における実用性を制限している。 本稿では,GRPOを連続制御環境に拡張し,高次元行動空間における課題,スパース報酬,時間的ダイナミクスに対処する理論的枠組みを提案する。 提案手法では, トラジェクトリベースのポリシクラスタリング, 状態認識によるメリット推定, ロボットアプリケーション用に設計された規則化されたポリシー更新を導入している。 我々は収束特性と計算複雑性を理論的に分析し、移動や操作タスクを含むロボットシステムにおける将来の経験的検証の基礎を確立する。

関連論文リスト

• Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。 制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
  論文  参考訳（メタデータ） (2025-06-06T10:29:05Z)
• COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping [56.907940167333656]
  集積ロボットグルーピングは、表面衝突などの環境制約により、所望のグルーピングポーズが運動的に不可能な場所である。 従来のロボット操作アプローチは、人間が一般的に使用する非包括的または双対的戦略の複雑さに苦しむ。 本稿では,2つの協調ポリシーを活用する学習ベースアプローチであるCOMBO-Grasp(Constraint-based Manipulation for Bimanual Occluded Grasping)を紹介する。
  論文  参考訳（メタデータ） (2025-02-12T01:31:01Z)
• Contractive Dynamical Imitation Policies for Efficient Out-of-Sample Recovery [3.549243565065057]
  模倣学習(imitation learning)は、専門家の行動からポリシーを学ぶための、データ駆動型アプローチである。 OOS(Out-of-sample)領域では信頼性の低い結果が出る傾向がある。 本稿では,契約型力学系をモデルとした政策学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-10T14:28:18Z)
• Learning Maximal Safe Sets Using Hypernetworks for MPC-based Local Trajectory Planning in Unknown Environments [1.3182466374784207]
  本稿では,未知の静的環境における局所軌道計画のための最適集合のオンライン推定のための学習に基づく新しいアプローチを提案する。 モデル予測制御(MPC)ローカルプランナの終端セット制約として、集合の神経表現を用いる。 我々は,提案手法であるNTC-MPCを物理ロボットに展開し,ベースラインが故障した場合の障害物を安全に回避できることを実証した。
  論文  参考訳（メタデータ） (2024-10-26T20:37:57Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
  ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。 本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
  論文  参考訳（メタデータ） (2024-02-04T15:54:03Z)
• Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation [50.01551945190676]
  社会ロボットナビゲーションは、日常生活の様々な状況において有用であるが、安全な人間とロボットの相互作用と効率的な軌道計画が必要である。 本稿では, 動的に進化する関係構造を明示的に推論した系統的関係推論手法を提案する。 マルチエージェント軌道予測とソーシャルロボットナビゲーションの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-22T18:58:22Z)
• Learning Robust Policies for Generalized Debris Capture with an Automated Tether-Net System [2.0429716172112617]
  本稿では,政策最適化アプローチとネット力学シミュレーションを統合した強化学習フレームワークを提案する。 状態遷移モデルは、状態推定と起動動作に合成不確実性を組み込むために検討される。 トレーニングされたポリシーは、個々のシナリオ上で実行される信頼性ベースの最適化で得られたものに近いキャプチャパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-01-11T20:09:05Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。