論文の概要: Constrained Differentiable Policy Learning for Safe Quadrotor Navigation

• arxiv url: http://arxiv.org/abs/2610.16119v1
• Date: Mon, 12 Oct 2026 03:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:38:31.725523
• Title: Constrained Differentiable Policy Learning for Safe Quadrotor Navigation
• Title（参考訳）: 安全なクアドロレータナビゲーションのための制約付き微分可能なポリシー学習
• Abstract要約: 微分可能シミュレーションは分析勾配による効率的な政策最適化を可能にするが、安全性は重み付けペナルティとして一般的に取り入れられる。 そこで我々は, 障害物回避を明示的な制約として定式化し, 微分可能シミュレータによる2次勾配勾配の上昇を訓練する。
• 参考スコア（独自算出の注目度）: 34.9273069367421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable simulation enables efficient policy optimization through analytic gradients, yet safety is commonly incorporated as a weighted penalty, requiring manual tuning of the trade-off between task performance and constraint satisfaction. We instead formulate obstacle avoidance as an explicit constraint and train quadrotor policies using primal--dual gradient descent--ascent through a differentiable simulator. We introduce two key components to enable effective constrained training. First, we propose a bounded clearance-based constraint function that provides informative gradients around the safety boundary while preventing large violations from destabilizing primal--dual optimization. Second, we introduce log-mean-exp (LME) aggregation to smoothly emphasize critical per-step safety violations across a trajectory and training batch within a single constraint governed by one dual variable. Together, these components enable the desired safety level to be specified directly while balancing constraint satisfaction and task completion. We theoretically prove that the proposed optimization with differentiable simulation converges to feasible policy under mild assumptions. Experiments demonstrate improved safety--performance trade-offs over fixed-penalty and existing policy-learning baselines, as well as generalization to denser out-of-distribution environments. Finally, the learned policy transfers zero-shot to Gazebo/PX4 and a physical quadrotor without additional fine-tuning.
• Abstract（参考訳）: 微分可能シミュレーションは分析勾配による効率的な政策最適化を可能にするが、安全は重み付けされたペナルティとして一般的に取り入れられ、タスク性能と制約満足度の間のトレードオフを手動で調整する必要がある。 そこで我々は, 障害物回避を明示的な制約として定式化し, 微分可能シミュレータによる2次勾配勾配の上昇を訓練する。 効果的な制約付きトレーニングを実現するために,2つの重要なコンポーネントを導入します。 まず,安全境界の周囲に情報的勾配を与えるとともに,大きな違反が原始的双対最適化の不安定化を防止できる有界クリアランスに基づく制約関数を提案する。 第2に、1つの双対変数が支配する単一制約内で、軌道および訓練バッチを横断する重要なステップ毎の安全違反を円滑に強調するために、log-mean-exp (LME)アグリゲーションを導入する。 これらのコンポーネントによって、制約満足度とタスク完了性のバランスを保ちつつ、望ましい安全性レベルを直接指定することが可能になります。 理論的には、微分可能なシミュレーションによる最適化が、穏やかな仮定の下で実現可能なポリシーに収束することを証明している。 実験では、固定費用と既存の政策学習ベースラインに対する安全性とパフォーマンスのトレードオフを改善し、より密集したアウト・オブ・ディストリビューション環境への一般化を実証した。 最後に、学習されたポリシーはゼロショットを、追加の微調整なしでGazebo/PX4と物理的四極子に転送する。

関連論文リスト

• Beyond Average Safety: Chance-Constrained LLM Fine-tuning [10.685380941330687]
  微調整された大きな言語モデルは、有用性、命令従順性、ドメイン固有のパフォーマンスを改善することができる。 既存の安全保存細調整法は、平均的な安全損失を制御するか、重み付けされた補助罰則を使用する。 本稿では、基準モデルに対する劣化が所定の閾値を超えた安全事例のごく一部を制限する、安全保存微調整のための機会拘束型定式化を提案する。
  論文  参考訳（メタデータ） (2026-09-24T15:17:58Z)
• PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control [8.882504398064087]
  PPO-EALは、新しい一階制約付きポリシー最適化フレームワークである。 高度に強化されたラグランジアン最適化を、安全なロボット制御のためのポリシー最適化に統合する。 致命的な大きなペナルティ要因を必要とせず、理論的に根拠づけられた制約執行を達成する。
  論文  参考訳（メタデータ） (2026-06-26T08:59:38Z)
• BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
  BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-23T18:19:46Z)
• Constrained Policy Optimization via Sampling-Based Weight-Space Projection [3.736063711613611]
  安全クリティカルな学習は、安全な運用体制を離れることなく、パフォーマンスを向上させる政策を必要とする。 モデルパラメータが未知のロールアウトに基づく安全制約を満たすような制約付きポリシー学習について検討する。 制約関数への勾配アクセスを必要とせずにパラメータ空間内で直接安全を強制する,サンプリングベースの重み空間投影法であるSCPOを提案する。
  論文  参考訳（メタデータ） (2025-12-15T19:00:01Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Constraint-Conditioned Policy Optimization for Versatile Safe Reinforcement Learning [33.988698754176646]
  本稿では,2つのモジュールからなる条件付き制約付き政策最適化(CCPO)フレームワークを紹介する。 実験の結果,CCPOは安全性とタスク性能の点で基準線を上回っていることがわかった。 これにより、我々のアプローチは実世界の動的アプリケーションに適している。
  論文  参考訳（メタデータ） (2023-10-05T17:39:02Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。