論文の概要: Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction

• arxiv url: http://arxiv.org/abs/2205.01608v1
• Date: Tue, 3 May 2022 16:40:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 16:11:42.984401
• Title: Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction
• Title（参考訳）: 運動量に基づく分散低減による局所確率的二段階最適化
• Authors: Junyi Li, Feihu Huang, Heng Huang
• Abstract要約: 具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 104.41634756395545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bilevel Optimization has witnessed notable progress recently with new emerging efficient algorithms and has been applied to many machine learning tasks such as data cleaning, few-shot learning, and neural architecture search. However, little attention has been paid to solve the bilevel problems under distributed setting. Federated learning (FL) is an emerging paradigm which solves machine learning tasks over distributed-located data. FL problems are challenging to solve due to the heterogeneity and communication bottleneck. However, it is unclear how these challenges will affect the convergence of Bilevel Optimization algorithms. In this paper, we study Federated Bilevel Optimization problems. Specifically, we first propose the FedBiO, a deterministic gradient-based algorithm and we show it requires $O(\epsilon^{-2})$ number of iterations to reach an $\epsilon$-stationary point. Then we propose FedBiOAcc to accelerate FedBiO with the momentum-based variance-reduction technique under the stochastic scenario. We show FedBiOAcc has complexity of $O(\epsilon^{-1.5})$. Finally, we validate our proposed algorithms via the important Fair Federated Learning task. More specifically, we define a bilevel-based group fair FL objective. Our algorithms show superior performances compared to other baselines in numerical experiments.
• Abstract（参考訳）: バイレベル最適化は最近、新たな効率的なアルゴリズムで顕著な進歩を目撃し、データクリーニング、少数ショット学習、ニューラルネットワーク検索など、多くの機械学習タスクに適用されている。 しかし,分散環境下での2レベル問題の解法にはほとんど注意が払われていない。 フェデレートラーニング(FL)は、分散ロケーションデータによる機械学習タスクを解決する新しいパラダイムである。 FL問題は不均一性と通信ボトルネックのため解決が難しい。 しかし、これらの課題がバイレベル最適化アルゴリズムの収束にどう影響するかは不明である。 本稿では,フェデレーテッド・バイレベル最適化問題について検討する。 具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案し、$O(\epsilon^{-2})$の反復数で$\epsilon$-stationary点に達することを示した。 次に,FedBiOAccを提案し,確率的シナリオ下での運動量に基づく分散還元手法を用いてFedBiOを高速化する。 fedbioaccの複雑性は$o(\epsilon^{-1.5})である。 最後に,Fair Federated Learningタスクを通じて提案したアルゴリズムを検証する。 より具体的には、bilevel-based group fair fl objectiveを定義する。 数値実験において,本アルゴリズムは他のベースラインと比較して優れた性能を示す。

関連論文リスト

• Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
  我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。 我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。 実験結果から,アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-02-13T21:28:53Z)
• Achieving Linear Speedup in Non-IID Federated Bilevel Learning [16.56643290676128]
  我々はFedMBOという新しいフェデレーションバイレベルアルゴリズムを提案する。 We show that FedMBO achieve a convergence rate of $mathcalObig(frac1sqrtnK+frac1K+fracsqrtnK3/2big)$ on non-i.d.datasets。 これは、i.d.d.federated bilevel optimizationに対する最初の理論的線形スピードアップ結果である。
  論文  参考訳（メタデータ） (2023-02-10T18:28:00Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Fast Adaptive Federated Bilevel Optimization [14.579475552088692]
  本稿では,分散二レベル最適化問題の解法として,適応型二レベル最適化アルゴリズム(AdaFBiO)を提案する。 AdaFBiOは、統一適応行列を用いて、様々な適応学習率を柔軟に組み込んで、ULおよびLL問題の変数を更新する。 AdaFBiOアルゴリズムの収束解析フレームワークを提供し、$tildeO(epsilon-3)$の複雑さと$tildeO(epsilon-2)$のコミュニケーション複雑さのサンプルが必要であることを証明した。
  論文  参考訳（メタデータ） (2022-11-02T13:55:47Z)
• Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
  フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。 FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。 提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-11T16:21:17Z)
• A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization [112.59170319105971]
  問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。 MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
  論文  参考訳（メタデータ） (2021-02-15T07:10:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。