論文の概要: PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control

• arxiv url: http://arxiv.org/abs/2606.27861v1
• Date: Fri, 26 Jun 2026 08:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.435502
• Title: PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control
• Title（参考訳）: PPO-EAL: 安全なロボット制御のための拡張ラグランジアン近似ポリシー最適化
• Abstract要約: PPO-EALは、新しい一階制約付きポリシー最適化フレームワークである。 高度に強化されたラグランジアン最適化を、安全なロボット制御のためのポリシー最適化に統合する。 致命的な大きなペナルティ要因を必要とせず、理論的に根拠づけられた制約執行を達成する。
• 参考スコア（独自算出の注目度）: 8.882504398064087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has emerged as a promising solution to accomplish complex robotic control tasks; however, most of the current work ignores the safety requirements. Safe RL seeks to maximize task performance while satisfying explicit physical constraints, but current algorithms struggle to learn the policy efficiently with precise constraint satisfaction. This work proposes PPO-EAL, a novel first-order constrained policy optimization framework that integrates exact augmented Lagrangian optimization into proximal policy optimization for safe robotic control. By combining clipped policy updates with exact quadratic penalty terms, PPO-EAL achieves theoretically grounded constraint enforcement without requiring impractically large penalty factors. A momentum-regulated multiplier update further improves dual-variable stability, reducing constraint oscillation and unsafe behavior while preserving task performance. We provide exactness and convergence analysis under standard stochastic approximation assumptions. Extensive validation across diverse GPU-accelerated robotic benchmarks-including cart-pole balancing, cart-double-pendulum stabilization, 7-DoF Franka end-effector reaching, and quadrupedal locomotion-demonstrates superior safety precision and reward performance compared with state-of-the-art first-order safe RL baselines. Finally, we demonstrate zero-shot sim-to-real deployment in a contact-rich gear assembly task, where PPO-EAL substantially improves task success, reduces peak contact force, and enhances operational robustness. These results establish PPO-EAL as a general and practically deployable safe RL framework for diverse safety-critical robotic systems.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、複雑なロボット制御タスクを実現するための有望なソリューションとして登場したが、現在の作業のほとんどは、安全要件を無視している。 Safe RLは、明示的な物理的制約を満たしながらタスクパフォーマンスを最大化しようとするが、現在のアルゴリズムは、厳密な制約満足度で効率的にポリシーを学ぶのに苦労している。 本研究はPPO-EALを提案する。PPO-EALは,高度に拡張されたラグランジアン最適化を,安全なロボット制御のための近似ポリシー最適化に統合した,新しい一階制約付きポリシー最適化フレームワークである。 PPO-EALは、クリッピングされたポリシー更新と正確な2次ペナルティ条件を組み合わせることで、急激な大きなペナルティ要因を必要とせずに理論的に根拠づけられた制約執行を達成する。 運動量規制による乗算器更新により、二変数安定性がさらに向上し、タスク性能を維持しながら制約振動や安全でない動作が軽減される。 我々は、標準的な確率近似の仮定の下で、正確性および収束解析を提供する。 カートポールバランシング、カートダブルペンデュラム安定化、7-DoF Frankaエンドエフェクタリーチ、四重項ロコモーションデモなど、GPUが加速するさまざまなロボットベンチマークの広範な検証は、最先端のファーストオーダーの安全RLベースラインと比較して、優れた安全性と報奨パフォーマンスを向上する。 最後に、PPO-EALがタスク成功を大幅に改善し、ピーク接触力を低減し、運用上の堅牢性を高めるような、コンタクトリッチなギア組立タスクにおいて、ゼロショットのsim-to-real展開を実証する。 これらの結果はPPO-EALを、多様な安全クリティカルロボットシステムのための汎用的で実用的にデプロイ可能な安全なRLフレームワークとして確立する。

関連論文リスト

• ContractionPPO: Certified Reinforcement Learning via Differentiable Contraction Layers [5.690649768462432]
  本稿では,手足ロボットのロバストな計画と制御のためのフレームワークであるContractionPPOを提案する。 収縮PPOは、模擬閉ループ系の指数的安定性を証明する収縮計量を生成する。 四足歩行におけるハードウェア実験により,強い外乱下であっても,ContractionPPOは頑健で安定な制御を可能にすることが示された。
  論文  参考訳（メタデータ） (2026-03-20T04:32:18Z)
• Exchange Policy Optimization Algorithm for Semi-Infinite Safe Reinforcement Learning [26.75757359001632]
  本稿では,最適政策性能と決定論的境界安全性を実現するアルゴリズムフレームワークである交換ポリシ最適化(EPO)を提案する。 EPOは、有限制約集合で安全なRLサブプロブレムを反復的に解き、制約拡張と削除を通じて活性集合を適応的に調整することで機能する。 我々の理論的分析は、軽微な仮定の下で、EPOによって訓練された戦略が、所定の限界内に厳密に残されている大域的制約違反を伴う最適解に匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-11-06T07:51:58Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Soft Actor-Critic Algorithm with Truly-satisfied Inequality Constraint [8.071506311915396]
  強化学習におけるソフトアクター批判(SAC)は,次世代ロボット制御方式の一つとして期待されている。 現在のSACは、私たちの期待に反して、政策のエントロピーを最大化しない。 本稿では,学習可能な状態依存スラック変数を用いて実装を改善する。
  論文  参考訳（メタデータ） (2023-03-08T03:32:50Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Safe Policy Improvement in Constrained Markov Decision Processes [10.518340300810504]
  本稿では,形式的要件の集合からの報酬形成と安全なポリシー更新という2つの課題を解くことで,合成問題の解決法を提案する。 前者に対しては,タスク仕様に準拠したスカラー報酬信号を定義する自動報酬生成手法を提案する。 後者では,高信頼度保証を伴う安全な方法でポリシーが改善されることを保証するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2022-10-20T13:29:32Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。