論文の概要: Safety in the Face of Adversity: Achieving Zero Constraint Violation in Online Learning with Slowly Changing Constraints

• arxiv url: http://arxiv.org/abs/2505.00398v1
• Date: Thu, 01 May 2025 08:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.271483
• Title: Safety in the Face of Adversity: Achieving Zero Constraint Violation in Online Learning with Slowly Changing Constraints
• Title（参考訳）: 逆境に面した安全:緩やかな制約変化を伴うオンライン学習におけるゼロ制約違反の達成
• Authors: Bassel Hamoud, Ilnura Usmanova, Kfir Y. Levy,
• Abstract要約: 全ラウンドにわたるオンライン凸最適化(OCO)において、ゼロ制約違反に関する最初の理論的保証を示す。 当社の枠組みは,OCOの制約の変化に直面して絶対安全を維持するための最初の証明可能な保証を提供することによって,これまでの作業から逸脱している。
• 参考スコア（独自算出の注目度）: 11.68367173822729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the first theoretical guarantees for zero constraint violation in Online Convex Optimization (OCO) across all rounds, addressing dynamic constraint changes. Unlike existing approaches in constrained OCO, which allow for occasional safety breaches, we provide the first approach for maintaining strict safety under the assumption of gradually evolving constraints, namely the constraints change at most by a small amount between consecutive rounds. This is achieved through a primal-dual approach and Online Gradient Ascent in the dual space. We show that employing a dichotomous learning rate enables ensuring both safety, via zero constraint violation, and sublinear regret. Our framework marks a departure from previous work by providing the first provable guarantees for maintaining absolute safety in the face of changing constraints in OCO.
• Abstract（参考訳）: 我々は,全ラウンドにわたるオンライン凸最適化(OCO)において,ゼロ制約違反の理論的保証を初めて提示し,動的制約変化に対処する。 時折の安全違反を許容する制約付きOCOの既存のアプローチとは異なり、段階的に変化する制約の仮定の下で厳格な安全を維持するための最初のアプローチを提供する。 これは、双対空間における原始双対アプローチとオンライングラディエント・アセンションによって達成される。 両義語学習率を用いることで,制約違反やサブリニア後悔による安全性の両立が期待できることを示す。 当社の枠組みは,OCOの制約の変化に直面して絶対安全を維持するための最初の証明可能な保証を提供することによって,これまでの作業から逸脱している。

関連論文リスト

• Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning [7.888219789657414]
  安全オフライン強化学習(RL)において、安全制約を厳格に遵守しつつ累積報酬を最大化する政策を開発することが目的である。 本稿では, 条件付き変分オートエンコーダを用いて, 保守的に安全な政策を学習することから始まる新しいアプローチを用いて, この問題に対処する。 我々は、これを制約付き逆戻り最大化問題とみなし、この政策は、推定された潜伏安全性の制約に従い、報酬を最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-12-11T22:00:07Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Resilient Constrained Reinforcement Learning [87.4374430686956]
  本稿では,複数の制約仕様を事前に特定しない制約付き強化学習(RL)のクラスについて検討する。 報酬訓練目標と制約満足度との間に不明確なトレードオフがあるため、適切な制約仕様を特定することは困難である。 我々は、ポリシーと制約仕様を一緒に検索する新しい制約付きRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:28:23Z)
• Constraint-Conditioned Policy Optimization for Versatile Safe Reinforcement Learning [33.988698754176646]
  本稿では,2つのモジュールからなる条件付き制約付き政策最適化(CCPO)フレームワークを紹介する。 実験の結果,CCPOは安全性とタスク性能の点で基準線を上回っていることがわかった。 これにより、我々のアプローチは実世界の動的アプリケーションに適している。
  論文  参考訳（メタデータ） (2023-10-05T17:39:02Z)
• Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming [4.825619788907192]
  We present a tractable distributionally safe reinforcement learning framework to enforce safety under a distributional shift by a Wasserstein metric。 トラクタビリティを向上させるために、まず双対性理論を用いて、低次最適化を無限次元確率空間から有限次元パラメトリック空間に変換する。 微分可能凸プログラミングにより、二段階安全な学習問題は、さらに2つの逐次計算効率のモジュールを持つ1つのレベルに削減される。
  論文  参考訳（メタデータ） (2023-10-03T22:05:05Z)
• SaFormer: A Conditional Sequence Modeling Approach to Offline Safe Reinforcement Learning [64.33956692265419]
  オフラインセーフなRLは、現実世界のアプリケーションにエージェントをデプロイする上で、非常に実用的な関連性を持っています。 そこで我々は,SaFormerと呼ばれる新しいオフラインセーフなRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:57:01Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Towards Safe Reinforcement Learning with a Safety Editor Policy [29.811723497181486]
  制約を満たすとともに実用性を最大化する安全強化学習問題を考察する。 我々は、ユーティリティ最大化ポリシーによって出力される潜在的に安全でないアクションを安全なものに変換する安全エディタポリシーを学習する。 提案手法は,制約に順応しながら,優れた実用性能を示す。
  論文  参考訳（メタデータ） (2022-01-28T21:32:59Z)
• Safe Online Convex Optimization with Unknown Linear Safety Constraints [0.0]
  安全なオンライン凸最適化の問題について検討し、各ステップの動作は一連の線形安全制約を満たす必要がある。 線形安全性制約を指定するパラメータはアルゴリズムでは未知である。 安全なベースライン動作が可能であるという仮定の下で、SO-PGDアルゴリズムは、後悔する$O(T2/3)$を達成していることを示す。
  論文  参考訳（メタデータ） (2021-11-14T19:49:19Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。