論文の概要: Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2207.10415v2
• Date: Fri, 2 Jun 2023 22:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:03:33.039205
• Title: Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning
• Title（参考訳）: 安全ブラックボックス最適化のためのログバリアと安全強化学習への応用
• Authors: Ilnura Usmanova, Yarden As, Maryam Kamgarpour, and Andreas Krause
• Abstract要約: 本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 72.97229770329214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing noisy functions online, when evaluating the objective requires experiments on a deployed system, is a crucial task arising in manufacturing, robotics and many others. Often, constraints on safe inputs are unknown ahead of time, and we only obtain noisy information, indicating how close we are to violating the constraints. Yet, safety must be guaranteed at all times, not only for the final output of the algorithm. We introduce a general approach for seeking a stationary point in high dimensional non-linear stochastic optimization problems in which maintaining safety during learning is crucial. Our approach called LB-SGD is based on applying stochastic gradient descent (SGD) with a carefully chosen adaptive step size to a logarithmic barrier approximation of the original problem. We provide a complete convergence analysis of non-convex, convex, and strongly-convex smooth constrained problems, with first-order and zeroth-order feedback. Our approach yields efficient updates and scales better with dimensionality compared to existing approaches. We empirically compare the sample complexity and the computational cost of our method with existing safe learning approaches. Beyond synthetic benchmarks, we demonstrate the effectiveness of our approach on minimizing constraint violation in policy search tasks in safe reinforcement learning (RL).
• Abstract（参考訳）: オンラインでノイズの多い機能を最適化する場合、その目的を評価するには、製造、ロボット工学、その他多くの分野において重要な課題となる。 多くの場合、安全な入力に対する制約は事前に不明であり、ノイズの多い情報しか得られず、制約に違反するほど近いことを示す。 しかし、安全はアルゴリズムの最終出力だけでなく、常に保証されなければならない。 本稿では,学習中の安全性維持が不可欠である高次元非線形確率最適化問題において,定常点を求める一般的なアプローチを提案する。 LB-SGDと呼ばれる手法は、確率勾配勾配勾配(SGD)を慎重に選択したステップサイズで元の問題の対数障壁近似に適用することに基づいている。 非凸、凸、強凸のスムーズな制約問題に対する完全収束解析を1次および0次フィードバックで提供する。 我々のアプローチは、既存のアプローチと比較して、効率的な更新と寸法によるスケールをもたらす。 サンプルの複雑さと計算コストを,既存の安全な学習手法と経験的に比較した。 安全強化学習(RL)における政策探索タスクにおける制約違反を最小限に抑えるためのアプローチの有効性を示す。

関連論文リスト

• Safe Reinforcement Learning for Constrained Markov Decision Processes with Stochastic Stopping Time [0.6554326244334868]
  安全制約付きマルコフ決定過程に対するオンライン強化学習アルゴリズムを提案する。 学習方針は高い信頼を持って安全であることを示す。 また、プロキシセットと呼ばれる状態空間のサブセットを定義することで、効率的な探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-03-23T20:22:30Z)
• Information-Theoretic Safe Bayesian Optimization [59.758009422067005]
  そこでは、未知の(安全でない)制約に反するパラメータを評価することなく、未知の関数を最適化することを目的としている。 現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。 本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
  論文  参考訳（メタデータ） (2024-02-23T14:31:10Z)
• SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
  本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。 本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。 理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
  論文  参考訳（メタデータ） (2023-11-01T22:12:50Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Meta-Learning Priors for Safe Bayesian Optimization [72.8349503901712]
  メタ学習アルゴリズムであるF-PACOHを構築し,データ不足の設定において確実な定量化を実現する。 コアコントリビューションとして、安全に適合した事前をデータ駆動で選択するための新しいフレームワークを開発する。 ベンチマーク関数と高精度動作系において,我々のメタ学習先行が安全なBOアプローチの収束を加速することを示す。
  論文  参考訳（メタデータ） (2022-10-03T08:38:38Z)
• Safety and Liveness Guarantees through Reach-Avoid Reinforcement Learning [24.56889192688925]
  リーチ・アビド最適制御問題は、自律ロボットシステムの安全性と生存性保証の中心である。 性能目標を用いた最適制御問題を概ね解くための強化学習手法の最近の成功は、その認証問題への適用を魅力的にしている。 最近の研究は、安全型問題を扱うための強化学習機械の拡張を約束しており、その目的は和ではなく、時間とともに最小限(または最大)である。
  論文  参考訳（メタデータ） (2021-12-23T00:44:38Z)
• Safe Online Convex Optimization with Unknown Linear Safety Constraints [0.0]
  安全なオンライン凸最適化の問題について検討し、各ステップの動作は一連の線形安全制約を満たす必要がある。 線形安全性制約を指定するパラメータはアルゴリズムでは未知である。 安全なベースライン動作が可能であるという仮定の下で、SO-PGDアルゴリズムは、後悔する$O(T2/3)$を達成していることを示す。
  論文  参考訳（メタデータ） (2021-11-14T19:49:19Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。