論文の概要: SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.09452v1
• Date: Fri, 10 Apr 2026 16:09:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.953519
• Title: SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning
• Title（参考訳）: SafeAdapt: 深層強化学習におけるおそらく安全なポリシー更新
• Authors: Maksim Anisimov, Francesco Belardinelli, Matthew Wicker,
• Abstract要約: 安全保証は、安全クリティカルなタスクにおける強化学習(RL)エージェントの配備の前提条件である。 現在のアプローチでは、正式な保証を提供していないか、政策の安全性を後部のみに検証する。 本稿では,Rashomon セットを導入することで,RL の安全ポリシー更新に先立つ新たな手法を提案する。 ポリシー更新に使用する任意のRLアルゴリズムに対して,その更新をRashomonセットに投影することで,形式的かつ証明可能な保証を提供できることを示す。
• 参考スコア（独自算出の注目度）: 15.190197265099748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety guarantees are a prerequisite to the deployment of reinforcement learning (RL) agents in safety-critical tasks. Often, deployment environments exhibit non-stationary dynamics or are subject to changing performance goals, requiring updates to the learned policy. This leads to a fundamental challenge: how to update an RL policy while preserving its safety properties on previously encountered tasks? The majority of current approaches either do not provide formal guarantees or verify policy safety only a posteriori. We propose a novel a priori approach to safe policy updates in continual RL by introducing the Rashomon set: a region in policy parameter space certified to meet safety constraints within the demonstration data distribution. We then show that one can provide formal, provable guarantees for arbitrary RL algorithms used to update a policy by projecting their updates onto the Rashomon set. Empirically, we validate this approach across grid-world navigation environments (Frozen Lake and Poisoned Apple) where we guarantee an a priori provably deterministic safety on the source task during downstream adaptation. In contrast, we observe that regularisation-based baselines experience catastrophic forgetting of safety constraints while our approach enables strong adaptation with provable guarantees that safety is preserved.
• Abstract（参考訳）: 安全保証は、安全クリティカルなタスクにおける強化学習(RL)エージェントの配備の前提条件である。 多くの場合、デプロイメント環境は非定常的なダイナミクスを示すか、あるいはパフォーマンス目標を変更することがあり、学習したポリシーを更新する必要がある。 前に遭遇したタスクの安全性を保ちながら、どのようにRLポリシーを更新するか? 現在のアプローチの大半は、公式な保証を提供していないか、政策の安全性を後部のみに検証している。 本稿では,実証データ配信における安全制約を満たすためのポリシパラメータ空間の領域であるRashomonセットを導入することで,連続RLにおける安全ポリシー更新に対する新たな事前アプローチを提案する。 次に、ポリシーの更新に使用する任意のRLアルゴリズムに対して、その更新をRashomonセットに投影することで、正式な証明可能な保証を提供できることを示す。 実証的に、我々はこのアプローチをグリッドワールドナビゲーション環境(Frozen LakeとPoisoned Apple)にまたがって検証し、ダウンストリーム適応中のソースタスクに対して、確実に決定論的安全性を保証する。 これとは対照的に,本手法は安全性の確保を保証し,強い適応を可能にする一方,規則化ベースラインは安全制約の破滅的な忘れ込みを経験する。

関連論文リスト

• Constrained Policy Optimization via Sampling-Based Weight-Space Projection [3.736063711613611]
  安全クリティカルな学習は、安全な運用体制を離れることなく、パフォーマンスを向上させる政策を必要とする。 モデルパラメータが未知のロールアウトに基づく安全制約を満たすような制約付きポリシー学習について検討する。 制約関数への勾配アクセスを必要とせずにパラメータ空間内で直接安全を強制する,サンプリングベースの重み空間投影法であるSCPOを提案する。
  論文  参考訳（メタデータ） (2025-12-15T19:00:01Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL [54.022106606140774]
  本研究では,モデルフリーでエピソードな環境において,新しいタスク固有ポリシーの安全性特性に違反する確率に制約を課す理論的結果を示す。 この境界は、時間的に拡張された性質(安全性の他に)や堅牢な制御問題にも適用できる。 本研究は,このトレードオフを実証し,経験的違反率から得られる理論的境界と後続境界とを比較した実験結果である。
  論文  参考訳（メタデータ） (2025-04-08T19:09:07Z)
• Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
  現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。 我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。 当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
  論文  参考訳（メタデータ） (2025-03-09T17:54:33Z)
• Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning [4.14360329494344]
  強化学習(Reinforcement Learning, RL)は、過去数十年にわたって、幅広い領域で意思決定に革命をもたらした。 しかし、現実のシナリオにRLポリシーをデプロイすることは、安全性を確保する上で重要な課題である。 従来の安全RLアプローチは、事前に定義された安全制約を政策学習プロセスに組み込むことに重点を置いてきた。 本稿では,安全なRL制御ポリシを同時に学習し,その環境の未知の安全制約パラメータを同定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T20:01:15Z)
• Trust Region-Based Safe Distributional Reinforcement Learning for Multiple Constraints [18.064813206191754]
  安全分布型アクタークリティカル(SDAC)と呼ばれる複数の制約に対する信頼領域に基づく安全強化学習アルゴリズムを提案する。 主な貢献は次のとおりである: 1) 多制約問題における不実現可能性問題を管理するための勾配積分法を導入し、理論収束を確実にし、2)低バイアスでリスク-逆制約を推定するTD($lambda$)ターゲット分布を開発する。
  論文  参考訳（メタデータ） (2023-01-26T04:05:40Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations [64.39401322671803]
  本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。 本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
  論文  参考訳（メタデータ） (2021-08-04T04:59:05Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。