論文の概要: Online Nonstochastic Control with Adversarial and Static Constraints

• arxiv url: http://arxiv.org/abs/2302.02426v1
• Date: Sun, 5 Feb 2023 16:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 18:16:00.982036
• Title: Online Nonstochastic Control with Adversarial and Static Constraints
• Title（参考訳）: 逆・静的制約を用いたオンライン非確率制御
• Authors: Xin Liu, Zixian Yang, Lei Ying
• Abstract要約: 本稿では,オンライン非確率的制御アルゴリズムを提案する。 我々のアルゴリズムは敵の制約に適応し、より少ない累積コストと違反を達成する。
• 参考スコア（独自算出の注目度）: 12.2632894803286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies online nonstochastic control problems with adversarial and static constraints. We propose online nonstochastic control algorithms that achieve both sublinear regret and sublinear adversarial constraint violation while keeping static constraint violation minimal against the optimal constrained linear control policy in hindsight. To establish the results, we introduce an online convex optimization with memory framework under adversarial and static constraints, which serves as a subroutine for the constrained online nonstochastic control algorithms. This subroutine also achieves the state-of-the-art regret and constraint violation bounds for constrained online convex optimization problems, which is of independent interest. Our experiments demonstrate the proposed control algorithms are adaptive to adversarial constraints and achieve smaller cumulative costs and violations. Moreover, our algorithms are less conservative and achieve significantly smaller cumulative costs than the state-of-the-art algorithm.
• Abstract（参考訳）: 本稿では,逆制約と静的制約を用いたオンライン非確率制御問題について検討する。 そこで本研究では, 最適制約付き線形制御ポリシーに対する静的制約違反を最小限に抑えつつ, サブリニア後悔とサブリニア逆制約違反を両立させるオンライン非定型制御アルゴリズムを提案する。 そこで本研究では,制約付きオンライン非定型制御アルゴリズムのサブルーチンとして機能する,逆および静的制約下でのメモリフレームワークを用いたオンライン凸最適化を提案する。 このサブルーチンは、独立した関心を持つ制約付きオンライン凸最適化問題に対する、最先端の後悔と制約違反の限界も達成する。 提案する制御アルゴリズムは,敵の制約に適応し,より少ない累積コストと違反を実現できることを示す。 さらに,本アルゴリズムは保存性が低く,最先端アルゴリズムよりもはるかに少ない累積コストを実現している。

関連論文リスト

• Regret Analysis of Policy Optimization over Submanifolds for Linearly Constrained Online LQG [12.201535821920624]
  制御器に与えられた線形制約を持つオンライン線形二次ガウス問題について検討する。 関数列の第1次および第2次情報に対する予測に基づいてオンラインコントローラを提供するオンライン楽観的ニュートン(OONM)を提案する。
  論文  参考訳（メタデータ） (2024-03-13T14:06:18Z)
• Online Constraint Tightening in Stochastic Model Predictive Control: A Regression Approach [49.056933332667114]
  確率制約付き最適制御問題に対する解析解は存在しない。 制御中の制約強調パラメータをオンラインで学習するためのデータ駆動型アプローチを提案する。 提案手法は, 確率制約を厳密に満たす制約強調パラメータを導出する。
  論文  参考訳（メタデータ） (2023-10-04T16:22:02Z)
• Adaptive Online Non-stochastic Control [10.25772015681554]
  我々は,制御環境の難易度に比例した政策後悔のアルゴリズムを得る目的で,非確率制御(NSC)の問題に取り組む。 FTRL(Follow The Regularized Leader)フレームワークを、実際に目撃されたコストに比例した正規化子を使用することで、動的システムに調整します。
  論文  参考訳（メタデータ） (2023-10-02T12:32:24Z)
• Projection-Free Online Convex Optimization with Stochastic Constraints [0.0]
  我々は制約付きオンライン凸最適化のためのプロジェクションフリーアルゴリズムを開発した。 各種設定に対してサブ線形後悔と制約違反境界を推定する。 我々は、制約違反を減らして、後悔と同じ成長をすることができることを証明している。
  論文  参考訳（メタデータ） (2023-05-02T11:27:34Z)
• Primal-Dual Contextual Bayesian Optimization for Control System Online Optimization with Time-Average Constraints [21.38692458445459]
  本稿では,制約付き閉ループ制御システムのオンライン性能最適化問題について検討する。 動的最適解に対する線形累積後悔を克服する主元-双対文脈ベイズ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-12T18:37:52Z)
• Introduction to Online Nonstochastic Control [34.77535508151501]
  オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。 目標は、ベンチマーククラスの政策から見て、最高の政策に対して低い後悔を得ることだ。
  論文  参考訳（メタデータ） (2022-11-17T16:12:45Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Regret-optimal Estimation and Control [52.28457815067461]
  後悔最適推定器と後悔最適制御器は状態空間形式で導出可能であることを示す。 非線形力学系に対するモデル予測制御(MPC)と拡張KalmanFilter(EKF)の残差最適類似性を提案する。
  論文  参考訳（メタデータ） (2021-06-22T23:14:21Z)
• Non-stationary Online Learning with Memory and Non-stochastic Control [71.14503310914799]
  我々は,過去の決定に依拠する損失関数を許容するメモリを用いたオンライン凸最適化(OCO)の問題について検討する。 本稿では,非定常環境に対してロバストなアルゴリズムを設計するための性能指標として,動的ポリシーの後悔を紹介する。 我々は,時間的地平線,非定常度,メモリ長といった面で,最適な動的ポリシーの後悔を確実に享受するメモリ付きOCOの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T09:45:15Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Logarithmic Regret for Adversarial Online Control [56.12283443161479]
  対数的後悔を伴う最初のアルゴリズムを任意対数外乱列に対して与える。 我々のアルゴリズムと分析はオフライン制御法の特徴を利用してオンライン制御問題を(遅延)オンライン学習に還元する。
  論文  参考訳（メタデータ） (2020-02-29T06:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。