論文の概要: Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems

• arxiv url: http://arxiv.org/abs/2302.06701v1
• Date: Mon, 13 Feb 2023 21:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 17:07:03.317013
• Title: Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems
• Title（参考訳）: 局所的および大域的低レベル問題を用いた通信効率のよい二重レベル最適化
• Authors: Junyi Li, Feihu Huang, Heng Huang
• Abstract要約: 我々はまず,高次推定問題を効率的に解くFedBiOアルゴリズムを提案し,FedBiOを高速化するためにFedBiOAccを提案する。 我々はFedBiOとFedBiOAccがある程度の修正を加えて同じ速度で収束していることを証明する。
• 参考スコア（独自算出の注目度）: 104.41634756395545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel Optimization has witnessed notable progress recently with new emerging efficient algorithms, yet it is underexplored in the Federated Learning setting. It is unclear how the challenges of Federated Learning affect the convergence of bilevel algorithms. In this work, we study Federated Bilevel Optimization problems. We first propose the FedBiO algorithm that solves the hyper-gradient estimation problem efficiently, then we propose FedBiOAcc to accelerate FedBiO. FedBiO has communication complexity $O(\epsilon^{-1.5})$ with linear speed up, while FedBiOAcc achieves communication complexity $O(\epsilon^{-1})$, sample complexity $O(\epsilon^{-1.5})$ and also the linear speed up. We also study Federated Bilevel Optimization problems with local lower level problems, and prove that FedBiO and FedBiOAcc converges at the same rate with some modification.
• Abstract（参考訳）: バイレベル最適化は、新しい効率的なアルゴリズムで最近顕著な進歩をみせたが、フェデレートラーニング設定では過小評価されている。 フェデレートラーニングの課題がバイレベルアルゴリズムの収束にどのように影響するかは不明である。 本研究では,フェデレーテッド・バイレベル最適化問題について検討する。 我々はまず,高次推定問題を効率的に解くFedBiOアルゴリズムを提案し,FedBiOを高速化するためにFedBiOAccを提案する。 fedbioはリニアスピードアップで通信複雑性$o(\epsilon^{-1.5})$、feedbioaccは通信複雑性$o(\epsilon^{-1})$、サンプル複雑性$o(\epsilon^{-1.5})$、線形スピードアップを実現している。 また,フェデレート二レベル最適化問題と局所低レベル問題についても検討し,federated bilevel optimization問題とfederated bilevel optimization問題と fedbio と fedbioacc が同一の速度で収束することを示す。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Achieving Linear Speedup in Non-IID Federated Bilevel Learning [16.56643290676128]
  我々はFedMBOという新しいフェデレーションバイレベルアルゴリズムを提案する。 We show that FedMBO achieve a convergence rate of $mathcalObig(frac1sqrtnK+frac1K+fracsqrtnK3/2big)$ on non-i.d.datasets。 これは、i.d.d.federated bilevel optimizationに対する最初の理論的線形スピードアップ結果である。
  論文  参考訳（メタデータ） (2023-02-10T18:28:00Z)
• Asynchronous Distributed Bilevel Optimization [20.074079852690048]
  本稿では,双方向最適化問題に対処するため,非同期分散双レベル(ADBO)アルゴリズムを提案する。 ADBOが$epsilon$-定常点を得る複雑さは$mathcalO(frac1epsilon 2)$によって上界される。
  論文  参考訳（メタデータ） (2022-12-20T07:44:48Z)
• Fast Adaptive Federated Bilevel Optimization [14.579475552088692]
  本稿では,分散二レベル最適化問題の解法として,適応型二レベル最適化アルゴリズム(AdaFBiO)を提案する。 AdaFBiOは、統一適応行列を用いて、様々な適応学習率を柔軟に組み込んで、ULおよびLL問題の変数を更新する。 AdaFBiOアルゴリズムの収束解析フレームワークを提供し、$tildeO(epsilon-3)$の複雑さと$tildeO(epsilon-2)$のコミュニケーション複雑さのサンプルが必要であることを証明した。
  論文  参考訳（メタデータ） (2022-11-02T13:55:47Z)
• Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
  フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。 FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。 提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-11T16:21:17Z)
• Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
  具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。