Fugu-MT 論文翻訳(概要): Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning

論文の概要: Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning

arxiv url: http://arxiv.org/abs/2201.09531v1
Date: Mon, 24 Jan 2022 08:56:06 GMT
ステータス: 処理完了
システム内更新日: 2022-01-25 15:32:21.934462
Title: Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning
Title（参考訳）: 連関学習における確率的ゼロ次最適化
Authors: Wenzhi Fang, Ziyi Yu, Yuning Jiang, Yuanming Shi, Colin N. Jones, and Yong Zhou
Abstract要約: フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
参考スコア（独自算出の注目度）: 28.65635956111857
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL), as an emerging edge artificial intelligence paradigm, enables many edge devices to collaboratively train a global model without sharing their private data. To enhance the training efficiency of FL, various algorithms have been proposed, ranging from first-order to second-order methods. However, these algorithms cannot be applied in scenarios where the gradient information is not available, e.g., federated black-box attack and federated hyperparameter tuning. To address this issue, in this paper we propose a derivative-free federated zeroth-order optimization (FedZO) algorithm featured by performing multiple local updates based on stochastic gradient estimators in each communication round and enabling partial device participation. Under the non-convex setting, we derive the convergence performance of the FedZO algorithm and characterize the impact of the numbers of local iterates and participating edge devices on the convergence. To enable communication-efficient FedZO over wireless networks, we further propose an over-the-air computation (AirComp) assisted FedZO algorithm. With an appropriate transceiver design, we show that the convergence of AirComp-assisted FedZO can still be preserved under certain signal-to-noise ratio conditions. Simulation results demonstrate the effectiveness of the FedZO algorithm and validate the theoretical observations.
Abstract（参考訳）: フェデレートラーニング(FL)は、新たなエッジ人工知能パラダイムとして、多くのエッジデバイスがプライベートデータを共有せずにグローバルモデルを協調的にトレーニングすることを可能にする。 flの訓練効率を向上させるため,一階から二階まで様々なアルゴリズムが提案されている。しかし、これらのアルゴリズムは、例えばフェデレーションブラックボックス攻撃やフェデレーションハイパーパラメータチューニングなど、勾配情報が利用できないシナリオでは適用できない。本稿では,各通信ラウンドにおいて確率的勾配推定器に基づく複数局所更新を行い,部分的デバイス参加を可能にする,デリバティブフリーなフェデレーションゼロ次最適化(fedzo)アルゴリズムを提案する。非凸設定下では、フェデゾアルゴリズムの収束性能を導出し、局所的な反復数と参加者のエッジデバイスが収束に与える影響を特徴付ける。さらに,無線ネットワーク上での通信効率のよいFedZOを実現するために,FedZOアルゴリズムを用いたエアコン(AirComp)を提案する。適切なトランシーバ設計により,AirComp支援型FedZOの収束は,特定の信号-雑音比条件下でも維持可能であることを示す。シミュレーションの結果は、FedZOアルゴリズムの有効性を示し、理論観測を検証した。

関連論文リスト

Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
論文参考訳（メタデータ） (2025-01-20T04:26:21Z)
Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文参考訳（メタデータ） (2025-01-06T21:16:51Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文参考訳（メタデータ） (2023-04-09T05:21:15Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-29T12:39:23Z)
Over-the-Air Decentralized Federated Learning [28.593149477080605]
本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
論文参考訳（メタデータ） (2021-06-15T09:42:33Z)
Fast Convergence Algorithm for Analog Federated Learning [30.399830943617772]
無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
論文参考訳（メタデータ） (2020-10-30T10:59:49Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。