論文の概要: Vulnerability Analysis of Safe Reinforcement Learning via Inverse Constrained Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2602.16543v1
• Date: Wed, 18 Feb 2026 15:43:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.634236
• Title: Vulnerability Analysis of Safe Reinforcement Learning via Inverse Constrained Reinforcement Learning
• Title（参考訳）: 逆制約強化学習による安全強化学習の脆弱性解析
• Authors: Jialiang Fan, Shixiong Jiang, Mengyu Liu, Fanxin Kong,
• Abstract要約: セーフなRLポリシーの脆弱性を明らかにするための敵攻撃フレームワークを提案する。 我々のフレームワークは制約モデルとサロゲート(ラーナー)ポリシーを学習し、勾配に基づく攻撃の最適化を可能にする。
• 参考スコア（独自算出の注目度）: 1.4707788677208018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe reinforcement learning (Safe RL) aims to ensure policy performance while satisfying safety constraints. However, most existing Safe RL methods assume benign environments, making them vulnerable to adversarial perturbations commonly encountered in real-world settings. In addition, existing gradient-based adversarial attacks typically require access to the policy's gradient information, which is often impractical in real-world scenarios. To address these challenges, we propose an adversarial attack framework to reveal vulnerabilities of Safe RL policies. Using expert demonstrations and black-box environment interaction, our framework learns a constraint model and a surrogate (learner) policy, enabling gradient-based attack optimization without requiring the victim policy's internal gradients or the ground-truth safety constraints. We further provide theoretical analysis establishing feasibility and deriving perturbation bounds. Experiments on multiple Safe RL benchmarks demonstrate the effectiveness of our approach under limited privileged access.
• Abstract（参考訳）: 安全強化学習(Safe RL)は、安全制約を満たしつつ、政策性能を確保することを目的としている。 しかし、既存の Safe RL 手法の多くは良質な環境を前提としており、現実世界でよく見られる敵の摂動に対して脆弱である。 加えて、既存のグラデーションベースの敵攻撃は通常、現実のシナリオでは非現実的であるポリシーのグラデーション情報へのアクセスを必要とする。 これらの課題に対処するために,安全なRLポリシーの脆弱性を明らかにするための敵攻撃フレームワークを提案する。 専門家による実証とブラックボックス環境の相互作用を用いて,本フレームワークは制約モデルとサロゲート(リアナー)ポリシーを学習し,被害者の政策の内部勾配や地道安全制約を必要とせずに,勾配に基づく攻撃最適化を可能にする。 さらに、実現可能性を確立し、摂動境界を導出する理論的解析を提供する。 複数のSafe RLベンチマークの実験では、制限された特権アクセス下でのアプローチの有効性が示されている。

関連論文リスト

• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning [7.888219789657414]
  安全オフライン強化学習(RL)において、安全制約を厳格に遵守しつつ累積報酬を最大化する政策を開発することが目的である。 本稿では, 条件付き変分オートエンコーダを用いて, 保守的に安全な政策を学習することから始まる新しいアプローチを用いて, この問題に対処する。 我々は、これを制約付き逆戻り最大化問題とみなし、この政策は、推定された潜伏安全性の制約に従い、報酬を最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-12-11T22:00:07Z)
• Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning [4.14360329494344]
  強化学習(Reinforcement Learning, RL)は、過去数十年にわたって、幅広い領域で意思決定に革命をもたらした。 しかし、現実のシナリオにRLポリシーをデプロイすることは、安全性を確保する上で重要な課題である。 従来の安全RLアプローチは、事前に定義された安全制約を政策学習プロセスに組み込むことに重点を置いてきた。 本稿では,安全なRL制御ポリシを同時に学習し,その環境の未知の安全制約パラメータを同定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T20:01:15Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
  安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。 オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。 推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
  論文  参考訳（メタデータ） (2022-02-10T05:43:41Z)
• Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations [64.39401322671803]
  本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。 本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
  論文  参考訳（メタデータ） (2021-08-04T04:59:05Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。