論文の概要: Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods

• arxiv url: http://arxiv.org/abs/2207.02829v6
• Date: Mon, 11 Mar 2024 13:25:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 18:10:39.649333
• Title: Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
• Title（参考訳）: オンラインバイレベル最適化:オンライン交互勾配法の後悔分析
• Authors: Davoud Ataee Tarzanagh, Parvin Nazari, Bojian Hou, Li Shen, Laura Balzano
• Abstract要約: 我々は、シングルレベルオンラインアルゴリズムに対する既知の後悔の限界を、バイレベル設定にまで広げる。 本研究では,スムーズさを生かしたオンライン時間平均勾配法を提案する。
• 参考スコア（独自算出の注目度）: 17.143187435547336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces \textit{online bilevel optimization} in which a sequence of time-varying bilevel problems is revealed one after the other. We extend the known regret bounds for single-level online algorithms to the bilevel setting. Specifically, we provide new notions of \textit{bilevel regret}, develop an online alternating time-averaged gradient method that is capable of leveraging smoothness, and give regret bounds in terms of the path-length of the inner and outer minimizer sequences.
• Abstract（参考訳）: 本稿では,時間変動二レベル問題の列を次々に明らかにする \textit{online bilevel optimization} を提案する。 我々は、シングルレベルオンラインアルゴリズムの既知の後悔の限界を二レベル設定に拡張する。 具体的には, \textit{bilevel regret} という概念を新たに提供し,滑らかさを活用できるオンラインの交代時間平均勾配法を開発し,内側および外側の最小化配列の経路長の観点で後悔の限界を与える。

関連論文リスト

• Online Nonconvex Bilevel Optimization with Bregman Divergences [3.237380113935023]
  本稿では,近年の変動率の平均値を用いて,外部変数を更新するオンラインバイレベル(SOB)手法を提案する。 このアプローチは、ハイパーレベルベンチマークのレートが優れたパフォーマンスと効率を強調するため、オフラインバイレベル設定(OBO)よりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:01:27Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Minimizing Dynamic Regret on Geodesic Metric Spaces [20.353993251916982]
  測地線距離空間に適用可能な「最適」オンライン学習アルゴリズムを開発した。 これは、一般的な動的後悔を考慮し、「最適」オンライン学習アルゴリズムを開発する最初の作品である。
  論文  参考訳（メタデータ） (2023-02-17T02:03:29Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Online estimation and control with optimal pathlength regret [52.28457815067461]
  オンライン学習アルゴリズムを設計する際の自然なゴールは、入力シーケンスの時間的変動の観点から、アルゴリズムの後悔を束縛することである。 OCOや盗賊など、さまざまなオンライン学習問題に対して、データ依存の「病的」後悔境界が最近取得されている。
  論文  参考訳（メタデータ） (2021-10-24T22:43:15Z)
• Regret minimization in stochastic non-convex learning via a proximal-gradient approach [80.59047515124198]
  機械学習やオペレーションの応用によって動機づけられた私たちは、オンラインで制約された問題を最小化するために、一階のオラクルフィードバックを後悔しています。 我々は、近位複雑性低減技術を保証する新しいプロキシグレードを開発する。
  論文  参考訳（メタデータ） (2020-10-13T09:22:21Z)
• Minimizing Dynamic Regret and Adaptive Regret Simultaneously [60.17824125301273]
  動的後悔と適応的後悔を同時に最小化できる新しいオンラインアルゴリズムを提案する。 我々の理論的保証は、あるアルゴリズムが任意の間隔で動的後悔を最小化できるという意味でさらに強い。
  論文  参考訳（メタデータ） (2020-02-06T03:32:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。