論文の概要: Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.21646v1
• Date: Tue, 21 Jul 2026 23:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:56.939655
• Title: Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
• Title（参考訳）: 非定常強化学習における安全制約としての調整速度
• Abstract要約: 本稿では,非定常強化学習における安全制約として,調整速度を提案する。 将来の州や地域は、安全を維持するために必要な適応が、学習システムの校正された回復能力を超えると、危険になる可能性がある。 非定常運転環境における実験により, 提案手法は, コンテキスト変化に対応する近地窓の安全違反を主に低減することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring safety in reinforcement learning under nonstationarity requires determining whether a learning system can safely adapt to forecasted environmental change within the required recovery horizon. Existing safe reinforcement learning methods typically assume stationary environments and do not explicitly consider adaptation speed as a safety concern. However, when environments evolve over time, delayed adaptation may result in transient unsafe behavior. This paper proposes adjustment speed as a safety constraint for nonstationary reinforcement learning. The central idea is to define safety in terms of adaptation feasibility: future states or regions may become unsafe when the adaptation required to remain safe exceeds the learning system's calibrated recovery capacity. The proposed framework uses learned context representations and short-horizon context forecasts to estimate adaptation demand and compare it with the agent's achievable adaptation capacity. When predicted adaptation demand exceeds the calibrated recovery capacity, the framework proactively tightens the admissible action set and activates an action-level shield to reduce unsafe behavior before violations occur. Experiments in a nonstationary driving environment show that the proposed approach primarily reduces safety violations in short-horizon windows aligned with context changes. Ablation studies further show that shielding is more conservative for peak- and tail-risk suppression, while optimization-level adjustment provides additional reductions in short-horizon switch-conditioned violations. These results support adaptation feasibility as a practical safety principle for reinforcement learning under nonstationarity and demonstrate that proactive intervention can improve safety during periods of environmental change.
• Abstract（参考訳）: 非定常下での強化学習の安全性を確保するには、学習システムが必要な回復地平線内で予測された環境変化に安全に適応できるかどうかを決定する必要がある。 既存の安全な強化学習手法は、一般に静止環境を前提としており、適応速度を安全上の懸念として明示的に考慮していない。 しかし、時間が経つにつれて環境が進化していくと、遅延適応は過渡的な不安全行動を引き起こす可能性がある。 本稿では,非定常強化学習における安全制約として,調整速度を提案する。 将来の状態や地域は、安全を維持するために必要な適応が、学習システムの校正された回復能力を超えると、安全になるかもしれない。 提案フレームワークは,学習した文脈表現と短時間の文脈予測を用いて適応需要を推定し,エージェントの達成可能な適応能力と比較する。 予測適応要求が調整された回復能力を超えた場合、フレームワークは、許容可能な動作セットを積極的に締め付け、違反が起こる前に安全でない動作を抑えるためにアクションレベルシールドを活性化する。 非定常運転環境における実験により, 提案手法は, コンテキスト変化に対応する近地窓の安全違反を主に低減することを示した。 アブレーション研究により、シールドはピークリスクとテールリスクの抑制のためにより保守的である一方、最適化レベルの調整は短水平スイッチ条件違反のさらなる削減をもたらすことが示されている。 これらの結果は,非定常環境下での強化学習の実践的安全原則としての適応実現可能性を支持し,環境変化の期間における積極的な介入が安全性を向上させることを実証する。

関連論文リスト

• Proactive Context-Forecasted Safety Constraints for Nonstationary Reinforcement Learning [0.0]
  本稿では,文脈予測に基づくアクティブな安全制約生成のためのフレームワークを提案する。 構造化された文脈変化を伴う運転環境における手法の評価を行う。 その結果, 積極的制約生成は非定常強度と非定常強度の両面における衝突を著しく減少させることがわかった。
  論文  参考訳（メタデータ） (2026-09-08T00:44:30Z)
• Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints [0.0]
  LILAC+は、非定常下での安全な継続的強化学習のためのフレームワークである。 これは、コンテキストベースの安全制約、適応速度制約、州間安全執行の3つの適応安全メカニズムを組み合わせたものである。 静止状態,非定常状態,非定常状態のシミュレーション運転環境におけるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-05-13T04:10:10Z)
• From Cumulative Constraints to Adaptive Runtime Safety Control for Nonstationary Reinforcement Learning [0.0]
  Constraint Projection Safety Shield (CPSS)は、累積安全予算を実行中に適応的な状態レベルの制御制約に変換するランタイムメカニズムである。 CPSSは残りの安全予算を追跡し、それを許容されるリスクしきい値に予測し、予測される安全コストがアクティブなしきい値を超える政策措置をフィルタリングする。 得られた遮蔽ポリシーを解析し、そのメカニズムが実行された動作に対する状態ごとの閾値満足度を保証することを示す。
  論文  参考訳（メタデータ） (2026-05-13T03:34:13Z)
• Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning [2.9184958249079975]
  既存の防衛は、限られた保護を提供するか、安全と実用性の間のトレードオフを強制する。 安全リスクに応じて正規化を適応するトレーニングフレームワークを導入する。 前世代の活性化から有害な意図信号が予測可能であることを実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-19T16:59:54Z)
• PoSafeNet: Safe Learning with Poset-Structured Neural Nets [49.854863600271614]
  既存のアプローチは、しばしば複数の安全制約を均一に、または固定された優先命令によって強制し、実現不可能と不安定な振る舞いを引き起こす。 我々は、この設定を擬似構造的安全性として定式化し、安全制約を部分的に順序づけられた集合としてモデル化し、安全構成を政策クラスの構造的特性として扱う。 この定式化に基づいて、逐次クローズドフォームプロジェクションを介して安全性を強制する、識別可能な神経安全層であるPoSafeNetを提案する。
  論文  参考訳（メタデータ） (2026-01-29T22:03:32Z)
• Constrained Policy Optimization via Sampling-Based Weight-Space Projection [3.736063711613611]
  安全クリティカルな学習は、安全な運用体制を離れることなく、パフォーマンスを向上させる政策を必要とする。 モデルパラメータが未知のロールアウトに基づく安全制約を満たすような制約付きポリシー学習について検討する。 制約関数への勾配アクセスを必要とせずにパラメータ空間内で直接安全を強制する,サンプリングベースの重み空間投影法であるSCPOを提案する。
  論文  参考訳（メタデータ） (2025-12-15T19:00:01Z)
• UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。 安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。 この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
  論文  参考訳（メタデータ） (2025-10-02T16:43:33Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
  シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である 安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:00:21Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• MESA: Offline Meta-RL for Safe Adaptation and Fault Tolerance [73.3242641337305]
  最近の研究は、制約に違反する確率を測定するリスク尺度を学習し、安全を可能にするために使用することができる。 我々は,安全な探索をオフラインのメタRL問題とみなし,様々な環境における安全かつ安全でない行動の例を活用することを目的としている。 次に,メタラーニングシミュレーションのアプローチであるMESA(Meta-learning for Safe Adaptation)を提案する。
  論文  参考訳（メタデータ） (2021-12-07T08:57:35Z)
• Context-Aware Safe Reinforcement Learning for Non-Stationary Environments [24.75527261989899]
  現実的なタスクのために強化学習エージェントを展開する場合、安全は重要な問題である。 非定常環境における安全な適応を実現するために,文脈認識型安全強化学習法(CASRL)を提案する。 提案アルゴリズムは,安全性とロバスト性の観点から,既存のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-02T23:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。