Fugu-MT 論文翻訳(概要): Communication-Efficient Federated Hypergradient Computation via Aggregated Iterative Differentiation

論文の概要: Communication-Efficient Federated Hypergradient Computation via Aggregated Iterative Differentiation

arxiv url: http://arxiv.org/abs/2302.04969v1
Date: Thu, 9 Feb 2023 23:07:34 GMT
ステータス: 処理完了
システム内更新日: 2023-02-13 17:07:02.756925
Title: Communication-Efficient Federated Hypergradient Computation via Aggregated Iterative Differentiation
Title（参考訳）: Aggregated Iterative Differentiationによる通信効率の良いフェデレーション過次計算
Authors: Peiyao Xiao and Kaiyi Ji
Abstract要約: AggITDは実装が簡単で、通信コストを大幅に削減する。提案アルゴリズムは,既存の近似暗黙差分法(AID)に基づく手法と同一のサンプル複雑性を実現する。
参考スコア（独自算出の注目度）: 14.494626833445915
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated bilevel optimization has attracted increasing attention due to emerging machine learning and communication applications. The biggest challenge lies in computing the gradient of the upper-level objective function (i.e., hypergradient) in the federated setting due to the nonlinear and distributed construction of a series of global Hessian matrices. In this paper, we propose a novel communication-efficient federated hypergradient estimator via aggregated iterative differentiation (AggITD). AggITD is simple to implement and significantly reduces the communication cost by conducting the federated hypergradient estimation and the lower-level optimization simultaneously. We show that the proposed AggITD-based algorithm achieves the same sample complexity as existing approximate implicit differentiation (AID)-based approaches with much fewer communication rounds in the presence of data heterogeneity. Our results also shed light on the great advantage of ITD over AID in the federated/distributed hypergradient estimation. This differs from the comparison in the non-distributed bilevel optimization, where ITD is less efficient than AID. Our extensive experiments demonstrate the great effectiveness and communication efficiency of the proposed method.
Abstract（参考訳）: フェデレーションバイレベル最適化は、新たな機械学習と通信アプリケーションによって、注目を集めている。最大の課題は、一連の大域的なヘッセン行列の非線形かつ分散構成により、フェデレーション設定における上層目標関数(すなわち超勾配)の勾配を計算することである。本稿では,aggitd(aggregated iterative differentiation)を用いた,通信効率の高い連関型重回帰推定器を提案する。 aggitdは実装が簡単で、連合超勾配推定と低レベルの最適化を同時に行うことで通信コストを大幅に削減できる。提案したAggITDに基づくアルゴリズムは,データヘテロジニティの存在下での通信ラウンドがはるかに少ない,既存の近似的暗黙差分法(AID)ベースのアプローチと同一のサンプル複雑性を実現する。以上の結果から,連合型/分散型高次推定法において,itdによる支援よりも大きな利点が浮かび上がってきた。これは、ITDがAIDよりも効率が低い非分散二段階最適化の比較とは異なる。提案手法の有効性と通信効率の実証実験を行った。

関連論文リスト

Distributed Noncoherent Joint Transmission Based on Multi-Agent Reinforcement Learning for Dense Small Cell MISO Systems [8.146481327854545]
マルチアンテナ小セル基地局(SBS)が共有帯域上でデータを送信する高密度小セルネットワークを考察する。
論文参考訳（メタデータ） (2024-08-22T02:11:14Z)
On the Communication Complexity of Decentralized Bilevel Optimization [40.45379954138305]
本稿では,更新戦略の同時および交互化に基づく2つの新しい分散二段階勾配勾配アルゴリズムを提案する。我々のアルゴリズムは既存の手法よりも高速な収束率と通信コストを抑えることができる。このような理論的な結果は、不均一な環境での軽微な仮定で達成されたのはこれが初めてである。
論文参考訳（メタデータ） (2023-11-19T14:56:26Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。実験結果から,アルゴリズムの性能が向上した。
論文参考訳（メタデータ） (2023-02-13T21:28:53Z)
Fast Adaptive Federated Bilevel Optimization [14.579475552088692]
本稿では,分散二レベル最適化問題の解法として,適応型二レベル最適化アルゴリズム(AdaFBiO)を提案する。 AdaFBiOは、統一適応行列を用いて、様々な適応学習率を柔軟に組み込んで、ULおよびLL問題の変数を更新する。 AdaFBiOアルゴリズムの収束解析フレームワークを提供し、$tildeO(epsilon-3)$の複雑さと$tildeO(epsilon-2)$のコミュニケーション複雑さのサンプルが必要であることを証明した。
論文参考訳（メタデータ） (2022-11-02T13:55:47Z)
ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文参考訳（メタデータ） (2022-09-25T13:05:33Z)
Versatile Single-Loop Method for Gradient Estimator: First and Second Order Optimality, and its Application to Federated Learning [45.78238792836363]
本稿では,SLEDGE (Single-Loop-E Gradient Estimator) という単一ループアルゴリズムを提案する。既存の手法とは異なり、SLEDGEは、(ii)2階最適、(ii)PL領域における、(iii)少ないデータ以下の複雑さの利点を持つ。
論文参考訳（メタデータ） (2022-09-01T11:05:26Z)
Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文参考訳（メタデータ） (2021-10-14T17:35:24Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。