論文の概要: RL-STPA: Adapting System-Theoretic Hazard Analysis for Safety-Critical Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.15201v1
• Date: Thu, 16 Apr 2026 16:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:32.00442
• Title: RL-STPA: Adapting System-Theoretic Hazard Analysis for Safety-Critical Reinforcement Learning
• Title（参考訳）: RL-STPA:安全批判強化学習のためのシステム理論ハザード解析
• Authors: Steven A. Senczyszyn, Timothy C. Havens, Nathaniel Rice, Jason E. Summers, Benjamin D. Werner, Benjamin J. Schumeg,
• Abstract要約: 本稿ではRL-STPA(Reinforcement Learning System-Theoretic Process Analysis)を紹介する。 RL-STPAは、RLの固有の課題に3つの重要な貢献を通して対処するために、従来のハザード分析を適用する。 RL-STPAは自律型ドローンの航法と着陸の安全上重要なテストケースである。
• 参考スコア（独自算出の注目度）: 0.8291942198324129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As reinforcement learning (RL) deployments expand into safety-critical domains, existing evaluation methods fail to systematically identify hazards arising from the black-box nature of neural network enabled policies and distributional shift between training and deployment. This paper introduces Reinforcement Learning System-Theoretic Process Analysis (RL-STPA), a framework that adapts conventional STPA's systematic hazard analysis to address RL's unique challenges through three key contributions: hierarchical subtask decomposition using both temporal phase analysis and domain expertise to capture emergent behaviors, coverage-guided perturbation testing that explores the sensitivity of state-action spaces, and iterative checkpoints that feed identified hazards back into training through reward shaping and curriculum design. We demonstrate RL-STPA in the safety-critical test case of autonomous drone navigation and landing, revealing potential loss scenarios that can be missed by standard RL evaluations. The proposed framework provides practitioners with a toolkit for systematic hazard analysis, quantitative metrics for safety coverage assessment, and actionable guidelines for establishing operational safety bounds. While RL-STPA cannot provide formal guarantees for arbitrary neural policies, it offers a practical methodology for systematically evaluating and improving RL safety and robustness in safety-critical applications where exhaustive verification methods remain intractable.
• Abstract（参考訳）: 強化学習(RL)デプロイメントが安全クリティカルドメインに拡大するにつれて、既存の評価手法では、ニューラルネットワークのブラックボックスの性質から生じるハザードを体系的に識別することができないため、トレーニングとデプロイメント間のポリシと分散シフトが可能になる。 本稿では,従来のSTPAの体系的ハザード分析に適応して,時間相解析とドメインの専門知識を用いた階層的サブタスク分解による創発的行動の把握,状態-行動空間の感度を探求するカバレッジ誘導摂動テスト,報酬形成とカリキュラム設計によるトレーニングに特定ハザードをフィードバックする反復的チェックポイント,という3つの重要な貢献を通じて,RLのユニークな課題に対処するフレームワークであるReinforcement Learning System-Theoretic Process Analysis(RL-STPA)を紹介する。 RL-STPAは自律ドローンの航法と着陸の安全クリティカルなテストケースで実証され、通常のRL評価で見逃される可能性のある潜在的な損失シナリオが明らかにされた。 提案フレームワークは,システマティックハザード分析のためのツールキット,安全カバレッジ評価のための定量的指標,運用上の安全境界を確立するための実行可能なガイドラインを提供する。 RL-STPAは任意のニューラルポリシーの正式な保証を提供することはできないが、徹底的な検証方法が難解な安全クリティカルなアプリケーションにおいて、RLの安全性と堅牢性を体系的に評価し改善するための実践的な方法論を提供する。

関連論文リスト

• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Control Synthesis of Cyber-Physical Systems for Real-Time Specifications through Causation-Guided Reinforcement Learning [3.608670495432032]
  信号時相論理(STL)は、リアルタイム制約を表現する強力な形式主義として登場した。 強化学習(RL)は未知環境における制御合成問題の解法として重要である。 本稿では,STLのオンライン因果監視によって導かれるオンライン報酬生成手法を提案する。
  論文  参考訳（メタデータ） (2025-10-09T02:49:28Z)
• Safely Learning Controlled Stochastic Dynamics [61.82896036131116]
  システム力学の安全な探索と効率的な推定を可能にする手法を提案する。 学習後、学習モデルはシステムのダイナミクスの予測を可能にし、任意の制御の安全性検証を可能にする。 我々は、真の力学のソボレフ正則性を高めることにより、安全性と適応学習率の向上を理論的に保証する。
  論文  参考訳（メタデータ） (2025-06-03T11:17:07Z)
• Systematic Hazard Analysis for Frontier AI using STPA [0.0]
  現在、フロンティアAI企業は、ハザードを特定し分析するための構造化アプローチの詳細を記述していない。 システム理論プロセス分析(Systems-Theoretic Process Analysis)は、複雑なシステムがいかに危険に晒されるかを特定するための体系的な方法論である。 我々は、フロンティアAIシステムにおいて、スコープを広げ、トレーサビリティを向上し、安全性保証の堅牢性を強化する能力を評価する。
  論文  参考訳（メタデータ） (2025-06-02T15:28:34Z)
• Safe and Robust Reinforcement Learning: Principles and Practice [0.0]
  強化学習は比較的複雑なタスクの解決に顕著な成功を収めた。 現実のシナリオにおけるRLシステムのデプロイは、安全性と堅牢性に関する重大な課題を生じさせる。 本稿では, アルゴリズム, 倫理的, 実践的考察を含む安全で堅牢なRL景観の主次元について考察する。
  論文  参考訳（メタデータ） (2024-03-27T13:14:29Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Reachability Verification Based Reliability Assessment for Deep Reinforcement Learning Controlled Robotics and Autonomous Systems [17.679681019347065]
  Deep Reinforcement Learning (DRL)は、ロボット工学と自律システム(RAS)において優れたパフォーマンスを達成した 実生活での運用において重要な課題は、危険なほど安全でないDRLポリシーの存在である。 本稿ではDRL制御RASのための新しい定量的信頼性評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T19:25:46Z)
• Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
  本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。 価値に基づく政策段階の深層強化学習(DRL)について考察する。 また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。