論文の概要: Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.19836v1
• Date: Thu, 20 Aug 2026 09:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.524164
• Title: Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
• Title（参考訳）: 安全強化学習のためのMDP学習による適応的確率シールド
• Abstract要約: 我々は,MDPの遷移グラフが知られている環境におけるシールドの計算問題について検討する。 RLエージェントが環境を探索する際、遷移確率を推定する。 シールドは最初は保守的であるかもしれないが、モデル推定がより正確になるにつれて適応する。
• 参考スコア（独自算出の注目度）: 13.82610991481171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic shielding is a technique for safe reinforcement learning (RL). Typically, a static observer -- called the shield -- constrains the learning agent's actions to those for which acting safely remains feasible. Traditionally, the shield is computed from the transition probabilities of the underlying Markov decision process (MDP). Thus, this technique is not applicable when the MDP model is not given a priori, which, unfortunately, is the case in typical RL applications. In this paper, we study the problem of computing a shield in the setting where the transition graph of the MDP is known, but the transition probabilities are unknown. Our approach integrates probabilistic shielding with online model learning: as the RL agent explores the environment, we estimate the transition probabilities. From this estimate, we compute a shield. While the shield may be conservative initially, it adapts as the model estimate becomes more precise. Thus, the shield improves in tandem with the RL agent. This paradigm of adaptive probabilistic shielding raises a number of challenges, such as when to recompute the shield and how to balance between exploration and safety during learning. We empirically evaluate multiple variants of this paradigm across several environments.
• Abstract（参考訳）: 確率的遮蔽は安全強化学習(RL)の技法である。 通常、静的オブザーバ(シールドと呼ばれる)は、学習エージェントのアクションを、安全に行動する人たちに制約する。 伝統的に、シールドは、基礎となるマルコフ決定過程(MDP)の遷移確率から計算される。 したがって、MDPモデルに先入観が与えられていない場合、この手法は適用されないが、残念なことに、典型的なRLアプリケーションではそうである。 本稿では,MDPの遷移グラフが知られている設定におけるシールドの計算問題について検討するが,遷移確率は未知である。 我々の手法は確率的シールドとオンラインモデル学習を統合し、RLエージェントが環境を探索するにつれて、遷移確率を推定する。 この推定からシールドを計算する。 シールドは最初は保守的であるかもしれないが、モデル推定がより正確になるにつれて適応する。 これにより、シールドはRL剤とのタンデムが向上する。 この適応確率的シールドのパラダイムは、シールドを再計算する時期や、学習中の探索と安全性のバランスをとる方法など、多くの課題を提起する。 複数の環境にまたがるこのパラダイムの複数の変種を実証的に評価する。

関連論文リスト

• Robust Shielding for Safe Reinforcement Learning [55.99069346593732]
  マルコフ決定過程(MDPs)における強化学習エージェントの安全性を正式に保証するための遮蔽は効果的なアプローチである 遷移確率の集合を持つ頑健なMDPのための新しい遮蔽フレームワークを提案する。 実験の結果,学習用MDPのシールドは未知のMDPの安全性を確保しつつ,サンプル数の増加とともに高い期待リターンを回復することがわかった。
  論文  参考訳（メタデータ） (2026-05-29T19:01:12Z)
• Interval POMDP Shielding for Imperfect-Perception Agents [0.5729426778193399]
  学習した知覚に依存する自律システムは、センサーの読み取りが誤って分類された場合、安全でない決定を下す可能性がある。 我々はシールドについて研究している: 提案されたアクションを考慮すれば、シールドは安全を侵害する可能性のあるアクションをブロックする。 実験により,我々の遮蔽アプローチは,最先端のベースラインよりもシステムの安全性を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-22T16:12:37Z)
• Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
  現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。 我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。 当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
  論文  参考訳（メタデータ） (2025-03-09T17:54:33Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Shielded Reinforcement Learning for Hybrid Systems [1.0485739694839669]
  強化学習は、ほぼ最適に近いコントローラを構築するために利用されてきたが、それらの動作は安全であると保証されていない。 学習したコントローラーに安全を課す方法の1つは、設計によって正しいシールドを使用することである。 本研究では,いわゆる野蛮な手法によるシールドの構築を提案し,基礎となるパーティションベースの2プレーヤ安全ゲームの近似有限表現を抽出する。
  論文  参考訳（メタデータ） (2023-08-28T09:04:52Z)
• Model-based Dynamic Shielding for Safe and Efficient Multi-Agent Reinforcement Learning [7.103977648997475]
  MARL(Multi-Agent Reinforcement Learning)は、報酬を最大化するが、学習と展開フェーズにおいて安全保証を持たないポリシーを発見する。 MARLアルゴリズム設計をサポートするモデルベース動的シールド(MBDS)。
  論文  参考訳（メタデータ） (2023-04-13T06:08:10Z)
• Robust Control for Dynamical Systems With Non-Gaussian Noise via Formal Abstractions [59.605246463200736]
  雑音分布の明示的な表現に依存しない新しい制御器合成法を提案する。 まず、連続制御系を有限状態モデルに抽象化し、離散状態間の確率的遷移によってノイズを捕捉する。 我々は最先端の検証技術を用いてマルコフ決定プロセスの間隔を保証し、これらの保証が元の制御システムに受け継がれるコントローラを演算する。
  論文  参考訳（メタデータ） (2023-01-04T10:40:30Z)
• Online Shielding for Reinforcement Learning [59.86192283565134]
  RLエージェントのオンライン安全保護のためのアプローチを提案する。 実行中、シールドは利用可能な各アクションの安全性を分析する。 この確率と与えられた閾値に基づいて、シールドはエージェントからのアクションをブロックするかを決定する。
  論文  参考訳（メタデータ） (2022-12-04T16:00:29Z)
• Automata Learning meets Shielding [1.1417805445492082]
  安全は、強化学習(RL)における主要な研究課題の1つである。 本稿では,確率的,部分的に未知な環境下での探査において,RLエージェントの安全違反を回避する方法について述べる。 提案手法は,マルコフ決定過程(MDP)の自動学習とシールド合成を反復的手法で組み合わせたものである。
  論文  参考訳（メタデータ） (2022-12-04T14:58:12Z)
• Sampling-Based Robust Control of Autonomous Systems with Non-Gaussian Noise [59.47042225257565]
  雑音分布の明示的な表現に依存しない新しい計画法を提案する。 まず、連続系を離散状態モデルに抽象化し、状態間の確率的遷移によってノイズを捕捉する。 いわゆる区間マルコフ決定過程(iMDP)の遷移確率区間におけるこれらの境界を捉える。
  論文  参考訳（メタデータ） (2021-10-25T06:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。