論文の概要: Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods

• arxiv url: http://arxiv.org/abs/2207.02829v1
• Date: Wed, 6 Jul 2022 17:36:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 15:06:22.886319
• Title: Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
• Title（参考訳）: オンラインバイレベル最適化:オンライン交互勾配法の後悔分析
• Authors: Davoud Ataee Tarzanagh and Laura Balzano
• Abstract要約: 本稿では,オンラインの2段階最適化手法について検討し,時間変化の2段階問題を次々に明らかにする手法を提案する。 具体的には,2段階の後悔という新たな概念を導入し,スムーズさを生かしたオンラインの時間平均勾配法を開発し,内部および外部の最小化シーケンスのパス長による後悔境界を提供する。
• 参考スコア（独自算出の注目度）: 11.023443997688227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online optimization is a well-established optimization paradigm that aims to make a sequence of correct decisions given knowledge of the correct answer to previous decision tasks. Bilevel programming involves a hierarchical optimization problem where the feasible region of the so-called outer problem is restricted by the graph of the solution set mapping of the inner problem. This paper brings these two ideas together and studies an online bilevel optimization setting in which a sequence of time-varying bilevel problems are revealed one after the other. We extend the known regret bounds for single-level online algorithms to the bilevel setting. Specifically, we introduce new notions of bilevel regret, develop an online alternating time-averaged gradient method that is capable of leveraging smoothness, and provide regret bounds in terms of the path-length of the inner and outer minimizer sequences.
• Abstract（参考訳）: オンライン最適化は、以前の意思決定タスクに対する正しい答えの知識を前提として、正しい意思決定の連続を目標とする、確立した最適化パラダイムである。 双レベルプログラミングは、内部問題の解集合写像のグラフによって、いわゆる外問題の実現可能な領域が制限される階層的最適化問題を含む。 本稿では、これらの2つのアイデアをまとめて、時間変化の両レベル問題の連続を次々に明らかにするオンラインの双レベル最適化設定について研究する。 我々は、シングルレベルオンラインアルゴリズムの既知の後悔の限界を二レベル設定に拡張する。 具体的には,2段階の後悔という新たな概念を導入し,スムーズさを生かしたオンラインの時間平均勾配法を開発し,内部および外部の最小化シーケンスのパス長による後悔境界を提供する。

関連論文リスト

• Online Nonconvex Bilevel Optimization with Bregman Divergences [3.237380113935023]
  本稿では,近年の変動率の平均値を用いて,外部変数を更新するオンラインバイレベル(SOB)手法を提案する。 このアプローチは、ハイパーレベルベンチマークのレートが優れたパフォーマンスと効率を強調するため、オフラインバイレベル設定(OBO)よりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:01:27Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Minimizing Dynamic Regret on Geodesic Metric Spaces [20.353993251916982]
  測地線距離空間に適用可能な「最適」オンライン学習アルゴリズムを開発した。 これは、一般的な動的後悔を考慮し、「最適」オンライン学習アルゴリズムを開発する最初の作品である。
  論文  参考訳（メタデータ） (2023-02-17T02:03:29Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Online estimation and control with optimal pathlength regret [52.28457815067461]
  オンライン学習アルゴリズムを設計する際の自然なゴールは、入力シーケンスの時間的変動の観点から、アルゴリズムの後悔を束縛することである。 OCOや盗賊など、さまざまなオンライン学習問題に対して、データ依存の「病的」後悔境界が最近取得されている。
  論文  参考訳（メタデータ） (2021-10-24T22:43:15Z)
• Regret minimization in stochastic non-convex learning via a proximal-gradient approach [80.59047515124198]
  機械学習やオペレーションの応用によって動機づけられた私たちは、オンラインで制約された問題を最小化するために、一階のオラクルフィードバックを後悔しています。 我々は、近位複雑性低減技術を保証する新しいプロキシグレードを開発する。
  論文  参考訳（メタデータ） (2020-10-13T09:22:21Z)
• Minimizing Dynamic Regret and Adaptive Regret Simultaneously [60.17824125301273]
  動的後悔と適応的後悔を同時に最小化できる新しいオンラインアルゴリズムを提案する。 我々の理論的保証は、あるアルゴリズムが任意の間隔で動的後悔を最小化できるという意味でさらに強い。
  論文  参考訳（メタデータ） (2020-02-06T03:32:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。