論文の概要: Certifiable Safe Model-Based Reinforcement Learning with Control-Affine Dynamics Approximation
- arxiv url: http://arxiv.org/abs/2607.16501v1
- Date: Fri, 17 Jul 2026 20:45:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.169496
- Title: Certifiable Safe Model-Based Reinforcement Learning with Control-Affine Dynamics Approximation
- Title（参考訳）: 制御アフィンダイナミクス近似を用いた安全なモデルに基づく強化学習
- Abstract要約: 本稿では,データ駆動型安全ポリシーを用いて制御-アフィンダイナミクスを学習する安全な強化学習フレームワークを提案する。
カートポールと3次元四重極板のシミュレーション結果から,提案手法の有効性が示された。
- 参考スコア（独自算出の注目度）: 11.94839946640942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safe model-based reinforcement learning (RL) often bridges control-theoretic analysis and RL for robots to safely explore (partially) unknown system dynamics while deriving control actions for task efficiency. The control performance and safety assurance typically rely on prior knowledge of partially modeled nominal system dynamics and the data-driven models that compensate for residual model uncertainties. However, existing methods often overlook the structure of residual model uncertainties (e.g., components affine in control), which could lead to overly conservative robot behaviors or invalid safety guarantees under the safe learning-based controllers. This paper proposes a safe reinforcement learning framework that learns control-affine dynamics with a certifiable data-driven safe policy using control barrier functions (CBF). Specifically, we first use Control-Affine Random Fourier Features (ARFF) to model robot dynamics in a control-affine form, which offers computational efficiency that scales with dataset size and reduces potential model bias for model-based reinforcement learning. Then, a model-free, efficient uncertainty quantification method using adaptive conformal prediction (ACP) is applied to quantify the uncertainty in the safety constraint arising from the learned control-affine dynamics. This allows for data-driven safety assurance amenable to principled and efficient controller synthesis with CBF. Simulation results on the cartpole and the 3D quadrotor platforms demonstrate the effectiveness of the proposed framework.
- Abstract（参考訳）: 安全モデルに基づく強化学習(RL)はしばしば制御理論解析とRLを橋渡しし、ロボットは(部分的に)未知のシステムダイナミクスを安全に探索し、タスク効率の制御アクションを導出する。
制御性能と安全性の保証は通常、部分的にモデル化された名目力学の事前知識と、残留モデルの不確実性を補うデータ駆動モデルに依存している。
しかし、既存の手法は残留モデルの不確実性(例えば、制御におけるコンポーネントのアフィン)の構造を見逃すことがしばしばあり、これは過度に保守的なロボットの動作や、安全な学習ベースのコントローラの下での安全性の保証につながる可能性がある。
本稿では,制御バリア関数(CBF)を用いた認証データ駆動型安全ポリシーを用いて制御-アフィンダイナミクスを学習する安全な強化学習フレームワークを提案する。
具体的には、まず、制御-アフィンランダムフーリエ機能(ARFF)を用いて、制御-アフィン形式でロボット力学をモデル化し、データセットのサイズに合わせてスケールする計算効率を提供し、モデルベース強化学習の潜在的なモデルバイアスを低減する。
そして、適応整合予測(ACP)を用いたモデルフリーで効率的な不確実性定量化手法を適用し、学習された制御-アフィンダイナミクスから生じる安全制約の不確かさを定量化する。
これにより、CBFによるデータ駆動型安全保証が原則化され、効率的なコントローラ合成が可能となる。
カートポールと3次元四重極板のシミュレーション結果から,提案手法の有効性が示された。
関連論文リスト
- ASACK : Adaptive Safe Active Continual Koopman Learning for Uncertain Systems with Contractive Guarantees [0.38887448816036313]
クープマン作用素論 (Koopman operator theory) は、持ち上げ可観測物に作用する線型作用素を通して非線形力学を表現するための枠組みを提供する。
本稿では,学習モデルの安全かつ効率的なオンライン改善を可能にする,継続的適応型クープマン学習のための統合フレームワークを提案する。
提案したアプローチは、リアルタイム効率を犠牲にすることなく、コントロールフレームワーク内の学習、デプロイメント、安全性を統一する。
論文 参考訳（メタデータ） (2026-05-10T17:11:51Z) - CAPSULE: Control-Theoretic Action Perturbations for Safe Uncertainty-Aware Reinforcement Learning [2.28224729577679]
オフライン環境で確率論的制御-アフィンダイナミクスモデルを学習する安全な強化学習フレームワークを提案する。
提案手法は,既存のベースラインに匹敵するリターンを達成すると同時に,安全性違反を著しく低減する。
論文 参考訳（メタデータ） (2026-04-26T07:31:30Z) - Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。
本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-12T22:03:35Z) - Safely Learning Controlled Stochastic Dynamics [61.82896036131116]
システム力学の安全な探索と効率的な推定を可能にする手法を提案する。
学習後、学習モデルはシステムのダイナミクスの予測を可能にし、任意の制御の安全性検証を可能にする。
我々は、真の力学のソボレフ正則性を高めることにより、安全性と適応学習率の向上を理論的に保証する。
論文 参考訳（メタデータ） (2025-06-03T11:17:07Z) - Learning Exactly Linearizable Deep Dynamics Models [0.06554326244334867]
本稿では, 安定度, 信頼性, 信頼性を確保するために, 様々な制御理論を容易に適用可能な, 線形化可能な動的モデルの学習法を提案する。
提案手法は, 自動車エンジンのリアルタイム制御に応用され, 予測性能と制約下での安定制御が良好であることを示す。
論文 参考訳（メタデータ） (2023-11-30T05:40:55Z) - Statistical Safety and Robustness Guarantees for Feedback Motion
Planning of Unknown Underactuated Stochastic Systems [1.0323063834827415]
本研究では, 平均力学モデルを用いたサンプリングベースプランナを提案し, 学習外乱境界による閉ループ追従誤差を同時に有界化する。
この保証は,10次元四角形ロボットのシミュレーションや,クレージーフライ四角形ロボットとクリアパスジャカルロボットの現実世界でのシミュレーションにおいて,経験的安全性に変換されることを検証した。
論文 参考訳（メタデータ） (2022-12-13T19:38:39Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Pointwise Feasibility of Gaussian Process-based Safety-Critical Control
under Model Uncertainty [77.18483084440182]
制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。
本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-13T23:08:49Z) - Reinforcement Learning for Safety-Critical Control under Model
Uncertainty, using Control Lyapunov Functions and Control Barrier Functions [96.63967125746747]
強化学習フレームワークは、CBFおよびCLF制約に存在するモデル不確実性を学ぶ。
RL-CBF-CLF-QPは、安全制約におけるモデル不確実性の問題に対処する。
論文 参考訳（メタデータ） (2020-04-16T10:51:33Z) - Learning Control Barrier Functions from Expert Demonstrations [69.23675822701357]
制御障壁関数(CBF)に基づく安全な制御器合成のための学習に基づくアプローチを提案する。
最適化に基づくCBFの学習手法を解析し、基礎となる力学系のリプシッツ仮定の下で証明可能な安全保証を享受する。
私たちの知る限りでは、これらはデータから確実に安全な制御障壁関数を学習する最初の結果です。
論文 参考訳（メタデータ） (2020-04-07T12:29:06Z) - Neural Lyapunov Model Predictive Control: Learning Safe Global
Controllers from Sub-optimal Examples [4.777323087050061]
多くの実世界の産業アプリケーションでは、例えば人間の操作者による実行など、既存の制御戦略を持つことが典型的である。
この研究の目的は、安全と安定性を維持する新しいコントローラを学習することで、この未知の、安全だが、最適でないポリシーを改善することである。
提案アルゴリズムは、端末コストを学習し、安定性基準に従ってMPCパラメータを更新する。
論文 参考訳（メタデータ） (2020-02-21T16:57:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。