論文の概要: PPO vs. SAC: A Comparative Study for Cooperative Motion Control of Dual-Arm Space Robots

• arxiv url: http://arxiv.org/abs/2610.32034v1
• Date: Fri, 23 Oct 2026 01:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.31688
• Title: PPO vs. SAC: A Comparative Study for Cooperative Motion Control of Dual-Arm Space Robots
• Title（参考訳）: PPO vs. SAC:デュアルアーム宇宙ロボットの協調動作制御の比較研究
• Abstract要約: 本稿では,デュアルアーム空間マニピュレータの協調動作計画のための強化学習フレームワークを開発する。 多目的報酬関数は、目標到達精度、配向アライメント、動きの滑らかさ、同期タスク完了、衝突回避を促進する。
• 参考スコア（独自算出の注目度）: 1.9336815376402718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing population of orbital debris has intensified interest in active debris removal and on-orbit servicing, for which dual-arm space manipulators offer improved grasping stability and load distribution relative to single-arm systems. However, coordinating two manipulators under inter-arm collision avoidance, orientation alignment, and sensing uncertainty remains challenging. This paper develops a coordinated reinforcement learning framework for cooperative motion planning of a dual-arm space manipulator in a target-reaching task with inter-arm collision-avoidance constraints. A centralized state representation combines joint-space, end-effector, and target-relative information, while a multi-objective reward function promotes target-reaching accuracy, orientation alignment, motion smoothness, synchronized task completion, and collision avoidance. Within this framework, Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC) are compared as representative on-policy and off-policy algorithms, and the learned policies are further evaluated for generalization to previously unseen target configurations. Across five random seeds, SAC substantially outperforms PPO within the considered fixed-base simulation scenarios: it reaches an 80% success threshold in every seed (median 1.6M environment steps) whereas PPO does not reach it within a 4M-step budget, and it attains a higher mean success rate (78.6% versus 7.4%) with lower position and orientation errors and tighter bimanual synchronization. Both algorithms degrade on unseen boundary targets, but SAC retains most of its performance while PPO's collapses. The results also expose a failure mode of PPO: under the two-phase shaped reward, it tends to converge to a reward-loitering local optimum rather than committing to the precision task. This behavior highlights the sensitivity of on-policy learning to reward shaping.
• Abstract（参考訳）: 軌道上のデブリの人口の増加は、アクティブなデブリの除去と軌道上のサーベイシングへの関心を増し、デュアルアームの宇宙マニピュレータは、シングルアームシステムに対する把握安定性と負荷分布を改善している。 しかし、武器間衝突回避、配向アライメント、感覚不確実性の下での2つのマニピュレータの調整は依然として困難である。 本稿では,両腕空間マニピュレータの協調動作計画のための協調的強化学習フレームワークを開発した。 集中状態表現は、連接空間、終端エフェクタ、および目標相対情報を組み合わせる一方、多目的報酬関数は、目標到達精度、配向アライメント、動きの滑らかさ、同期タスク完了、衝突回避を促進する。 この枠組みでは、PPO(Proximal Policy Optimization)とSoft Actor-Critic(Soft Actor-Critic)(SAC)を、政治および非政治の代表的なアルゴリズムとして比較し、学習されたポリシーを、これまで見つからなかった目標設定への一般化のためにさらに評価する。 5つのランダムな種子の中で、SACは固定ベースシミュレーションのシナリオでPPOを大幅に上回り、すべての種子(中期1.6Mの環境ステップ)で80%の成功閾値に達するのに対して、PPOは4Mステップの予算内に到達せず、低い位置と配向誤差とより厳密な双方向同期を持つ平均成功率(78.6%対7.4%)に達する。 どちらのアルゴリズムも見当たらない境界のターゲットで分解するが、SACはPPOが崩壊する間、ほとんどの性能を保っている。 結果はまた、PPOの失敗モードも露呈する: 2相形状の報酬の下では、精度タスクにコミットするのではなく、報酬を損なう局所最適値に収束する傾向にある。 この行動は、報酬形成に対するオンライン学習の感受性を強調している。

関連論文リスト

• PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control [8.882504398064087]
  PPO-EALは、新しい一階制約付きポリシー最適化フレームワークである。 高度に強化されたラグランジアン最適化を、安全なロボット制御のためのポリシー最適化に統合する。 致命的な大きなペナルティ要因を必要とせず、理論的に根拠づけられた制約執行を達成する。
  論文  参考訳（メタデータ） (2026-06-26T08:59:38Z)
• Prior Policy Guided Dual-Agent Coordinated Manipulation Planning of Spacecraft-Manipulator System [5.3085579284738085]
  本稿では,デュアルエージェント協調型マニピュレーション計画フレームワークを提案する。 同時に6-DoFの宇宙マニピュレータに届く高精度のエンドエフェクターポーズと、ベース宇宙船の姿勢安定化を実現している。
  論文  参考訳（メタデータ） (2026-05-25T02:32:23Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• DeFRiS: Silo-Cooperative IoT Applications Scheduling via Decentralized Federated Reinforcement Learning [62.347535250646196]
  本稿では、ロバストでスケーラブルなシロコラボ型IoTアプリケーションスケジューリングのための分散フェデレーション強化学習フレームワークであるDeFRiSを提案する。 DeFRiSは、(i)異種サイロ間のシームレスな知識伝達を可能にするための候補資源スコアを利用したアクション空間非依存ポリシー、(ii)汎用アドバンテージ推定とクリッピングされたポリシー更新を組み合わせたサイロ最適化ローカル学習メカニズム、(iii)類似性認識の知識伝達と異常検出に勾配指紋を利用するDual-Track Non-IIDロバストな分散集約プロトコル、の3つのイノベーションを統合する。
  論文  参考訳（メタデータ） (2026-03-16T02:02:38Z)
• SURE: Safe Uncertainty-Aware Robot-Environment Interaction using Trajectory Optimization [8.712271005822256]
  SUREは、接触タイミングの不確実性を明確に説明する堅牢な軌道最適化フレームワークである。 影響時間不明の2つの代表的な課題についてSUREを評価した。 SUREは従来の定式化よりも頑健性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-02-06T16:50:59Z)
• ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
  ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。 そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。 また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:16Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• TLE-Based A2C Agent for Terrestrial Coverage Orbital Path Planning [0.0]
  低地球軌道(LEO)の混雑は、地球観測衛星の効率的な展開と安全な運用に永続的な課題をもたらす。 本研究では,Advantage Actor-Critic (A2C) アルゴリズムを用いて衛星軌道パラメータを精密な地上被覆のために最適化する強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-14T17:44:51Z)
• PPO-BR: Dual-Signal Entropy-Reward Adaptation for Trust Region Policy Optimization [0.0]
  PPO-BRは、新しい探索と収束信号を単一の信頼領域に融合することで、パラダイム適応RLを確立する。 この研究は、位相認識学習における重要なギャップを埋め、ロボット手術のような安全クリティカルなシステムへの現実世界の展開を可能にする。
  論文  参考訳（メタデータ） (2025-05-23T10:30:58Z)
• COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping [56.907940167333656]
  集積ロボットグルーピングは、表面衝突などの環境制約により、所望のグルーピングポーズが運動的に不可能な場所である。 従来のロボット操作アプローチは、人間が一般的に使用する非包括的または双対的戦略の複雑さに苦しむ。 本稿では,2つの協調ポリシーを活用する学習ベースアプローチであるCOMBO-Grasp(Constraint-based Manipulation for Bimanual Occluded Grasping)を紹介する。
  論文  参考訳（メタデータ） (2025-02-12T01:31:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。