論文の概要: Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints

• arxiv url: http://arxiv.org/abs/2605.18842v1
• Date: Wed, 13 May 2026 04:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.659728
• Title: Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
• Title（参考訳）: 適応型安全制約による非定常環境下での安全継続強化学習
• Authors: Timofey Tomashevskiy,
• Abstract要約: LILAC+は、非定常下での安全な継続的強化学習のためのフレームワークである。 これは、コンテキストベースの安全制約、適応速度制約、州間安全執行の3つの適応安全メカニズムを組み合わせたものである。 静止状態,非定常状態,非定常状態のシミュレーション運転環境におけるフレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe reinforcement learning in nonstationary environments requires safety mechanisms that adapt as environmental conditions change. Standard safe reinforcement learning methods often assume fixed constraints or stable environmental conditions, which can become inadequate under distribution shift. We propose LILAC+, a framework for safe continual reinforcement learning under nonstationarity that combines three adaptive safety mechanisms: context-based safety constraints, adaptation-speed constraints, and budget-to-state safety enforcement. Context-based constraints adjust safety requirements using inferred and predicted environmental context. Adaptation-speed constraints tighten safety requirements when the rate of environmental change exceeds the agent's ability to adapt safely. Budget-to-state enforcement converts cumulative safety requirements into local state-level control constraints that can be enforced at decision time. Together, these mechanisms provide a unified approach for proactive and reactive safety adaptation in continual reinforcement learning. We evaluate the framework in simulated driving environments under stationary, seen nonstationary, and unseen nonstationary conditions. The results show that adaptive safety constraints substantially reduce safety violations under distribution shift while maintaining competitive task performance compared with unconstrained and fixed-constraint baselines. These findings suggest that safe continual reinforcement learning requires adaptive constraint mechanisms that respond not only to current state information but also to predicted environmental context, adaptation demand, and remaining safety budget.
• Abstract（参考訳）: 非定常環境における安全強化学習には、環境条件の変化に応じて適応する安全メカニズムが必要である。 標準的な安全強化学習法は、固定的な制約や安定した環境条件を前提としており、分散シフトでは不十分となることがある。 LILAC+は、文脈に基づく安全制約、適応速度制約、予算間安全執行という3つの適応安全メカニズムを組み合わせた、非定常環境下での安全な継続的強化学習のためのフレームワークである。 コンテキストベースの制約は、推測および予測された環境コンテキストを用いて安全要件を調整する。 適応速度制約は、環境変化の速度がエージェントが安全に適応する能力を超えると、安全要件を厳しくする。 予算から州への執行は、累積的安全要件を決定時に実施可能な州レベルの規制制約に変換する。 これらのメカニズムが組み合わさって、継続的な強化学習における積極的かつ反応性のある安全性適応のための統一的なアプローチを提供する。 静止状態,非定常状態,非定常状態のシミュレーション運転環境におけるフレームワークの評価を行った。 その結果, 適応型安全制約は, 制約のないベースラインや固定制約のないベースラインに比べて, 競争力を維持しつつ, 配電時の安全違反を著しく低減することがわかった。 これらの結果から, 安全な連続強化学習には, 現状情報だけでなく, 環境条件, 適応需要, 安全予算の維持に応答する適応的制約機構が必要であることが示唆された。

関連論文リスト

• From Cumulative Constraints to Adaptive Runtime Safety Control for Nonstationary Reinforcement Learning [0.0]
  Constraint Projection Safety Shield (CPSS)は、累積安全予算を実行中に適応的な状態レベルの制御制約に変換するランタイムメカニズムである。 CPSSは残りの安全予算を追跡し、それを許容されるリスクしきい値に予測し、予測される安全コストがアクティブなしきい値を超える政策措置をフィルタリングする。 得られた遮蔽ポリシーを解析し、そのメカニズムが実行された動作に対する状態ごとの閾値満足度を保証することを示す。
  論文  参考訳（メタデータ） (2026-05-13T03:34:13Z)
• PoSafeNet: Safe Learning with Poset-Structured Neural Nets [49.854863600271614]
  既存のアプローチは、しばしば複数の安全制約を均一に、または固定された優先命令によって強制し、実現不可能と不安定な振る舞いを引き起こす。 我々は、この設定を擬似構造的安全性として定式化し、安全制約を部分的に順序づけられた集合としてモデル化し、安全構成を政策クラスの構造的特性として扱う。 この定式化に基づいて、逐次クローズドフォームプロジェクションを介して安全性を強制する、識別可能な神経安全層であるPoSafeNetを提案する。
  論文  参考訳（メタデータ） (2026-01-29T22:03:32Z)
• UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。 安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。 この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
  論文  参考訳（メタデータ） (2025-10-02T16:43:33Z)
• RSafe: Incentivizing proactive reasoning to build robust and adaptive LLM safeguards [55.76285458905577]
  大規模言語モデル(LLM)は、意図的な安全確保努力にもかかわらず、脆弱性を示し続けている。 ポリシー違反のリスクから保護するために、外部ガードモデルによるシステムレベルのモデレーションが一般的な緩和戦略として現れている。 我々は、特定の安全ポリシーの範囲内で堅牢な保護を提供するためのガイド付き安全推論を行う適応型推論ベースの安全ガードであるRSafeを提案する。
  論文  参考訳（メタデータ） (2025-06-09T13:20:04Z)
• Constrained Meta-Reinforcement Learning for Adaptable Safety Guarantee with Differentiable Convex Programming [4.825619788907192]
  本稿では,メタラーニングアプローチ(ラーニング・トゥ・ラーン)のレンズを通して制約された問題を解くことによって,非定常環境における安全性を確保するためのユニークな課題について考察する。 まず,複数タスクにまたがるコンベックス制約付きポリシー更新を連続的に採用し,エンドツーエンドの差別化を可能にすることで,制約のあるシナリオにおけるメタラーニングを可能にする。
  論文  参考訳（メタデータ） (2023-12-15T21:55:43Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• Context-Aware Safe Reinforcement Learning for Non-Stationary Environments [24.75527261989899]
  現実的なタスクのために強化学習エージェントを展開する場合、安全は重要な問題である。 非定常環境における安全な適応を実現するために,文脈認識型安全強化学習法(CASRL)を提案する。 提案アルゴリズムは,安全性とロバスト性の観点から,既存のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-02T23:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。