論文の概要: CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors

• arxiv url: http://arxiv.org/abs/2609.17758v1
• Date: Tue, 15 Sep 2026 19:08:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.510432
• Title: CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors
• Title（参考訳）: CALOS: クアドロターの深部強化学習のための制御アフィンリアプノフオンマンフォールド安全層
• Abstract要約: 我々は,基礎となる学習アルゴリズムを変更することなく,四重項に対する姿勢制約を強制するランタイムセーフティ層であるCALOSを提案する。 安全層はまた、トレーニングの収束を加速し、最適以下のポリシーを作成せずにデータ効率を向上させる。
• 参考スコア（独自算出の注目度）: 1.7619347523562965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Reinforcement Learning has demonstrated remarkable capability in quadrotor control, yet learned policies offer no guarantee of respecting safety constraints during training or deployment. We present CALOS (Control-Affine Lyapunov On-manifold Safety), a runtime safety layer that enforces attitude constraints on a quadrotor without modifying the underlying learning algorithm. CALOS formulates four tilt-angle inequalities and a Lyapunov descent condition as a single quadratic program whose solution is the minimum-norm correction to the nominal torque output of the policy. The quadratic program is solved exactly via active-set enumeration over the three-dimensional torque space, with a computational cost low enough to enforce constraints in real time across thousands of parallel simulation environments, as required by modern massively parallel Deep Reinforcement Learning training. Evaluated on trajectory-tracking tasks in NVIDIA Isaac Lab, CALOS reduces lateral tracking error by 55-60% relative to an unconstrained Proximal Policy Optimization baseline while achieving zero attitude-constraint violations on the training trajectory. By restricting exploration to safe regions of the state space, the safety layer also accelerates training convergence and improves data efficiency without producing suboptimal policies.
• Abstract（参考訳）: 深層強化学習(Deep Reinforcement Learning)は、四重項制御において顕著な能力を示しているが、学習されたポリシーは、トレーニングやデプロイメント中に安全制約を尊重する保証を提供していない。 本稿では,CALOS(Control-Affine Lyapunov On-manifold Safety)について述べる。 CALOSは4つの傾角不等式とリャプノフ降下条件を、その解がポリシーの名目トルク出力に対する最小ノルム補正である1つの二次プログラムとして定式化する。 二次プログラムは3次元トルク空間上のアクティブセット列挙によって正確に解決され、現代の大規模並列深層強化学習訓練で要求されるように、数千の並列シミュレーション環境においてリアルタイムに制約を課すのに十分な計算コストがかかる。 CALOSはNVIDIA Isaac Labの軌跡追跡タスクを評価することで、トレーニング軌跡に対する姿勢制約違反をゼロにしつつ、制約のないプロキシポリシー最適化ベースラインと比較して、横方向のトラッキングエラーを55-60%削減する。 安全層は、状態空間の安全な領域への探索を制限することにより、トレーニングの収束を加速し、最適以下のポリシーを作成せずにデータ効率を向上させる。

関連論文リスト

• Directional Constraints for Efficient Exploration in Safe Reinforcement Learning [19.03722256244529]
  本稿では,ATACOMフレームワークを拡張して,システムの事前知識やデータから直接学習する制約を強制する手法を提案する。 ATACOM-DC (ATACOM Directional Constraints) と呼ばれる提案手法は安全性と性能のトレードオフを大幅に改善する。 本手法は,制約違反コストとタスク性能の両面から,ロボット制御タスクのシミュレーション,解析,評価を行う。
  論文  参考訳（メタデータ） (2026-07-14T13:59:20Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Model-Based Safe Reinforcement Learning with Time-Varying State and Control Constraints: An Application to Intelligent Vehicles [13.40143623056186]
  本稿では、時間変化状態と制御制約を持つ非線形システムの最適制御のための安全なRLアルゴリズムを提案する。 多段階の政策評価機構が提案され、時間変化による安全制約の下での政策の安全性リスクを予測し、安全更新を誘導する。 提案アルゴリズムは、シミュレーションされたセーフティガイム環境において、最先端のRLアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-12-18T10:45:31Z)
• Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations [64.39401322671803]
  本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。 本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
  論文  参考訳（メタデータ） (2021-08-04T04:59:05Z)
• Constrained Policy Gradient Method for Safe and Fast Reinforcement Learning: a Neural Tangent Kernel Based Approach [6.316693022958221]
  本稿では,安全な学習のための制約付きポリシー勾配アルゴリズムを提案する。 安全な学習のための制約を次の手順で導入する。 制約学習の効率は、カルトポールとルナーランダーのオープンAI環境において、浅い広いReLUネットワークで実証された。
  論文  参考訳（メタデータ） (2021-07-19T20:25:15Z)
• Safe Reinforcement Learning Using Advantage-Based Intervention [45.79740561754542]
  多くのシーケンシャルな決定問題は、安全性の制約に従いながら全報酬を最大化するポリシーを見つけることである。 本稿では,エージェントの安全性を確保するために,アドバンテージ関数に基づく介入機構を用いた新しいアルゴリズムであるSAILRを提案する。 私たちの方法には、トレーニングとデプロイメントの両方において、安全性が強く保証されています。
  論文  参考訳（メタデータ） (2021-06-16T20:28:56Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)
• Safe Reinforcement Learning of Control-Affine Systems with Vertex Networks [14.461847761198037]
  本稿では,厳密な状態と行動制約を持つ制御系に対する強化学習ポリシーの探索に焦点をあてる。 制約満足度、あるいは安全性を確保するためのこれまでの作業は、学習されたポリシーに予測ステップを追加することに重点を置いていた。 この問題に対処するため,本研究では,探索中の安全性と学習制御ポリシを保証したVertex Networks (VNs) と呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-20T20:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。