論文の概要: Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
- arxiv url: http://arxiv.org/abs/2601.21094v1
- Date: Wed, 28 Jan 2026 22:28:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.465813
- Title: Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
- Title（参考訳）: 安全な強化学習における流通シフトによる安全性の一般化:糖尿病検査台
- Authors: Minjae Kwon, Josephine Lamp, Lu Feng,
- Abstract要約: トレーニング時間安全が配電シフト時の展開の移動を保証するかどうかを検討する。
我々は、安全なRLアルゴリズムを統一的な臨床シミュレータ上でベンチマークし、安全性の一般化ギャップを明らかにする。
学習力学モデルを用いて安全でない動作をフィルタリングするテスト時間遮蔽は,アルゴリズムや患者集団の安全性を効果的に回復する。
- 参考スコア（独自算出の注目度）: 4.5864353056277976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safe Reinforcement Learning (RL) algorithms are typically evaluated under fixed training conditions. We investigate whether training-time safety guarantees transfer to deployment under distribution shift, using diabetes management as a safety-critical testbed. We benchmark safe RL algorithms on a unified clinical simulator and reveal a safety generalization gap: policies satisfying constraints during training frequently violate safety requirements on unseen patients. We demonstrate that test-time shielding, which filters unsafe actions using learned dynamics models, effectively restores safety across algorithms and patient populations. Across eight safe RL algorithms, three diabetes types, and three age groups, shielding achieves Time-in-Range gains of 13--14\% for strong baselines such as PPO-Lag and CPO while reducing clinical risk index and glucose variability. Our simulator and benchmark provide a platform for studying safety under distribution shift in safety-critical control domains. Code is available at https://github.com/safe-autonomy-lab/GlucoSim and https://github.com/safe-autonomy-lab/GlucoAlg.
- Abstract（参考訳）: 安全強化学習(RL)アルゴリズムは通常、一定の訓練条件下で評価される。
本研究は,糖尿病管理を安全クリティカルなテストベッドとして利用することにより,トレーニング時安全が分散シフト下でのデプロイメントへの移動を保証するかどうかを検討する。
我々は、安全なRLアルゴリズムを統一された臨床シミュレータ上でベンチマークし、安全性の一般化ギャップを明らかにする。
学習力学モデルを用いて安全でない動作をフィルタリングするテスト時間遮蔽は,アルゴリズムや患者集団の安全性を効果的に回復する。
8つの安全なRLアルゴリズム,3種類の糖尿病,3つの年齢群にまたがって,PPO-LagやCPOなどの強力なベースラインに対して,臨床リスク指標とグルコースの変動を低減しつつ,タイム・イン・ランジゲインを13～14倍に向上させる。
我々のシミュレータとベンチマークは、安全クリティカルな制御領域の分散シフト下での安全性を研究するためのプラットフォームを提供する。
コードはhttps://github.com/safe-autonomy-lab/GlucoSimとhttps://github.com/safe-autonomy-lab/GlucoAlgで入手できる。
関連論文リスト
- Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。
我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。
当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
論文 参考訳（メタデータ） (2025-03-09T17:54:33Z) - Sampling-based Safe Reinforcement Learning for Nonlinear Dynamical
Systems [15.863561935347692]
非線形力学系の制御のための安全かつ収束性のある強化学習アルゴリズムを開発した。
制御とRLの交差点における最近の進歩は、ハードセーフティ制約を強制するための2段階の安全フィルタアプローチに従っている。
我々は,古典的な収束保証を享受するRLコントローラを学習する,一段階のサンプリングに基づくハード制約満足度へのアプローチを開発する。
論文 参考訳（メタデータ） (2024-03-06T19:39:20Z) - Safe Reinforcement Learning in a Simulated Robotic Arm [0.0]
強化学習(RL)エージェントは、最適なポリシーを学ぶために環境を探索する必要がある。
本稿では,Pandaロボットアームを用いたカスタマイズ環境を構築することにより,安全なRLアルゴリズムの適用性を向上させる。
論文 参考訳（メタデータ） (2023-11-28T19:22:16Z) - Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。
我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。
我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-27T15:19:45Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - SAFER: Data-Efficient and Safe Reinforcement Learning via Skill
Acquisition [59.94644674087599]
安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。
オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。
推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
論文 参考訳（メタデータ） (2022-02-10T05:43:41Z) - Learning Barrier Certificates: Towards Safe Reinforcement Learning with
Zero Training-time Violations [64.39401322671803]
本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。
本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
論文 参考訳（メタデータ） (2021-08-04T04:59:05Z) - Safe Reinforcement Learning Using Advantage-Based Intervention [45.79740561754542]
多くのシーケンシャルな決定問題は、安全性の制約に従いながら全報酬を最大化するポリシーを見つけることである。
本稿では,エージェントの安全性を確保するために,アドバンテージ関数に基づく介入機構を用いた新しいアルゴリズムであるSAILRを提案する。
私たちの方法には、トレーニングとデプロイメントの両方において、安全性が強く保証されています。
論文 参考訳（メタデータ） (2021-06-16T20:28:56Z) - Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。
我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。
提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文 参考訳（メタデータ） (2020-10-27T17:54:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。