論文の概要: Asynchronous Distributed Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2212.10048v1
• Date: Tue, 20 Dec 2022 07:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 14:35:50.605183
• Title: Asynchronous Distributed Bilevel Optimization
• Title（参考訳）: 非同期分散bilevel最適化
• Authors: Yang Jiao, Kai Yang, Tiancheng Wu, Dongjin Song, Chengtao Jian
• Abstract要約: 本稿では,双方向最適化問題に対処するため,非同期分散双レベル(ADBO)アルゴリズムを提案する。 ADBOが$epsilon$-定常点を得る複雑さは$mathcalO(frac1epsilon 2)$によって上界される。
• 参考スコア（独自算出の注目度）: 20.074079852690048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel optimization plays an essential role in many machine learning tasks, ranging from hyperparameter optimization to meta-learning. Existing studies on bilevel optimization, however, focus on either centralized or synchronous distributed setting. The centralized bilevel optimization approaches require collecting massive amount of data to a single server, which inevitably incur significant communication expenses and may give rise to data privacy risks. Synchronous distributed bilevel optimization algorithms, on the other hand, often face the straggler problem and will immediately stop working if a few workers fail to respond. As a remedy, we propose Asynchronous Distributed Bilevel Optimization (ADBO) algorithm. The proposed ADBO can tackle bilevel optimization problems with both nonconvex upper-level and lower-level objective functions, and its convergence is theoretically guaranteed. Furthermore, it is revealed through theoretic analysis that the iteration complexity of ADBO to obtain the $\epsilon$-stationary point is upper bounded by $\mathcal{O}(\frac{1}{{{\epsilon ^2}}})$. Thorough empirical studies on public datasets have been conducted to elucidate the effectiveness and efficiency of the proposed ADBO.
• Abstract（参考訳）: 双レベル最適化は、ハイパーパラメータ最適化からメタラーニングまで、多くの機械学習タスクにおいて重要な役割を果たす。 しかし、2レベル最適化に関する既存の研究は、集中的あるいは同期的な分散設定に焦点を当てている。 集中型バイレベル最適化アプローチでは、単一のサーバに大量のデータを収集する必要があるため、必然的に大きな通信コストが発生し、データのプライバシリスクが発生する可能性がある。 一方、同期分散二レベル最適化アルゴリズムは、しばしばストラグラー問題に直面し、少数のワーカーが応答しなかった場合、直ちに動作を停止する。 本稿では,非同期分散二値最適化(ADBO)アルゴリズムを提案する。 提案したADBOは,非凸上層および下層目的関数の両面最適化問題に対処でき,その収束性は理論的に保証される。 さらに、ADBOが$\epsilon$-定常点を得るのに要する反復複雑性が$\mathcal{O}(\frac{1}{{{\epsilon ^2}}})$で上界であることが理論解析によって明らかになった。 提案したADBOの有効性と効率を明らかにするために,公開データセットに関する詳細な実証研究が実施されている。

関連論文リスト

• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• A Single-Loop Algorithm for Decentralized Bilevel Optimization [11.67135350286933]
  そこで本研究では,分散化された二段階最適化を低レベルに凸した問題で解くための新しい単一ループアルゴリズムを提案する。 提案手法は,反復毎に2つの行列ベクトル乗算のみを用いることで,過勾配を近似する完全単ループ法である。 解析により,提案アルゴリズムは二段階最適化アルゴリズムにおいて最もよく知られた収束率を実現することを示す。
  論文  参考訳（メタデータ） (2023-11-15T13:29:49Z)
• Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
  我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。 我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。 実験結果から,アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-02-13T21:28:53Z)
• Fast Adaptive Federated Bilevel Optimization [14.579475552088692]
  本稿では,分散二レベル最適化問題の解法として,適応型二レベル最適化アルゴリズム(AdaFBiO)を提案する。 AdaFBiOは、統一適応行列を用いて、様々な適応学習率を柔軟に組み込んで、ULおよびLL問題の変数を更新する。 AdaFBiOアルゴリズムの収束解析フレームワークを提供し、$tildeO(epsilon-3)$の複雑さと$tildeO(epsilon-2)$のコミュニケーション複雑さのサンプルが必要であることを証明した。
  論文  参考訳（メタデータ） (2022-11-02T13:55:47Z)
• Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity [17.870370505179014]
  本稿では,一階オラクル,ヘッセンベクター,ヤコビアンベクターのみを必要とする分散二段階最適化(DSBO)アルゴリズムを提案する。 このアルゴリズムの利点は、全ヘッセン行列とヤコビ行列を推定する必要がなく、それによってイット毎の複雑性が向上するということである。
  論文  参考訳（メタデータ） (2022-10-23T20:06:05Z)
• Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
  フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。 FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。 提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-11T16:21:17Z)
• Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
  具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:40:22Z)
• Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
  本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。 また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
  論文  参考訳（メタデータ） (2021-07-26T16:18:43Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。