論文の概要: Safe Online Convex Optimization with Multi-Point Feedback

• arxiv url: http://arxiv.org/abs/2407.11471v1
• Date: Tue, 16 Jul 2024 08:09:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 16:02:34.193070
• Title: Safe Online Convex Optimization with Multi-Point Feedback
• Title（参考訳）: マルチポイントフィードバックによる安全なオンライン凸最適化
• Authors: Spencer Hutchinson, Mahnoosh Alizadeh,
• Abstract要約: 我々は,ゼロオーダー情報のみを使用しながら,サブ線形後悔とゼロ制約違反を同時に達成する必要がある安全なオンライン凸最適化環境について検討する。 特に,各ラウンドで$d + 1$ポイントを選択し,各ポイントで制約関数とコスト関数の値を受け取るマルチポイントフィードバック設定を考える。 この問題に対処するために,前向き差分勾配推定と楽観的かつ悲観的なアクションセットを利用して,$mathcalO(d sqrtT)$ regret and zero constraintを実現するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.928749790761187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by the stringent safety requirements that are often present in real-world applications, we study a safe online convex optimization setting where the player needs to simultaneously achieve sublinear regret and zero constraint violation while only using zero-order information. In particular, we consider a multi-point feedback setting, where the player chooses $d + 1$ points in each round (where $d$ is the problem dimension) and then receives the value of the constraint function and cost function at each of these points. To address this problem, we propose an algorithm that leverages forward-difference gradient estimation as well as optimistic and pessimistic action sets to achieve $\mathcal{O}(d \sqrt{T})$ regret and zero constraint violation under the assumption that the constraint function is smooth and strongly convex. We then perform a numerical study to investigate the impacts of the unknown constraint and zero-order feedback on empirical performance.
• Abstract（参考訳）: 実世界のアプリケーションでよく見られる厳格な安全要件に感化され、我々は、ゼロオーダー情報のみを使用しながら、プレイヤーがサブ線形後悔とゼロ制約違反を同時に達成する必要がある安全なオンライン凸最適化設定について検討する。 特に,各ラウンドで$d + 1$ポイント($d$は問題次元)を選択し,各ポイントで制約関数とコスト関数の値を受け取るマルチポイントフィードバック設定を考える。 この問題に対処するために,制約関数が滑らかで凸であるという仮定の下で,前向き差分勾配推定と楽観的かつ悲観的な作用セットを利用して,$\mathcal{O}(d \sqrt{T})$ regretおよびゼロ制約違反を実現するアルゴリズムを提案する。 次に、未知の制約とゼロオーダーフィードバックが経験的性能に与える影響を数値的に研究する。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Optimistic Safety for Online Convex Optimization with Unknown Linear Constraints [31.526232903811533]
  我々はOCO(Optimistically Safe OCO)と呼ぶアルゴリズムを導入し、そのアルゴリズムが$tildeO(sqrtT)$ regretと制約違反がないことを示す。 静的線形制約の場合、これは同じ仮定の下で、以前の最もよく知られた $tildeO(T2/3)$ regret よりも改善される。 時間的制約の場合、当社の作業は、$O(sqrtT)$ regretと$O(sqrtT)$ cumulative violationを示す既存の結果を補完します。
  論文  参考訳（メタデータ） (2024-03-09T04:01:39Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Projection-Free Online Convex Optimization with Stochastic Constraints [0.0]
  我々は制約付きオンライン凸最適化のためのプロジェクションフリーアルゴリズムを開発した。 各種設定に対してサブ線形後悔と制約違反境界を推定する。 我々は、制約違反を減らして、後悔と同じ成長をすることができることを証明している。
  論文  参考訳（メタデータ） (2023-05-02T11:27:34Z)
• Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
  オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。 ソフトマージン条件下でのバニラQ関数の類似した結果を示す。 我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
  論文  参考訳（メタデータ） (2023-02-05T14:22:41Z)
• Online Convex Optimization with Stochastic Constraints: Zero Constraint Violation and Bandit Feedback [0.0]
  本稿では,O(sqrtT)$期待後悔とゼロ制約違反を保証できるドリフト・プラス・ペナルティアルゴリズムの変種を提案する。 我々のアルゴリズムは、バニラドリフト・プラス・ペナルティ法とは対照的に、時間地平線の長さが$T$である。
  論文  参考訳（メタデータ） (2023-01-26T18:04:26Z)
• On Dynamic Regret and Constraint Violations in Constrained Online Convex Optimization [17.412117389855222]
  提案するアルゴリズムは,現在の動作の周囲に適度に選択された集合上の射影勾配勾配を追従する。 動的後悔と制約違反の両方が、連続する最適動作間の距離の和であるパス長によって順序的に束縛されていることを示す。
  論文  参考訳（メタデータ） (2023-01-24T04:22:13Z)
• Safe Online Bid Optimization with Return-On-Investment and Budget Constraints subject to Uncertainty [87.81197574939355]
  最適化問題と学習問題の両方について検討する。 我々は、潜在的に線形な数の制約違反を犠牲にして、サブ線形後悔を保証するアルゴリズム、すなわちGCBを提供する。 より興味深いことに、我々はGCB_safe(psi,phi)というアルゴリズムを提供し、サブ線形擬似回帰と安全性w.h.p.の両方を、耐性 psi と phi を受け入れるコストで保証する。
  論文  参考訳（メタデータ） (2022-01-18T17:24:20Z)
• Concave Utility Reinforcement Learning with Zero-Constraint Violations [43.29210413964558]
  本稿では,凸制約を伴うCURL(Concave utility reinforcement Learning)の問題点について考察する。 制約違反をゼロにするモデルベース学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:13:33Z)
• Safe Learning under Uncertain Objectives and Constraints [66.05180398174286]
  我々は、テキスト不明で安全クリティカルな制約の下で、非テクスト無知かつ安全クリティカルな最適化問題を考察する。 このような問題は、ロボティクス、製造、医療などの様々な領域で自然に発生する。 我々の分析の重要な要素は、安全な最適化の文脈で収縮と呼ばれる手法を導入し、適用することである。
  論文  参考訳（メタデータ） (2020-06-23T20:51:00Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。