論文の概要: Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning
- arxiv url: http://arxiv.org/abs/2412.11660v1
- Date: Mon, 16 Dec 2024 11:02:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:55:53.306937
- Title: Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning
- Title（参考訳）: 可変化と適応学習によるフェデレーション学習における非凸最適化
- Authors: Dipanwita Thakur, Antonella Guzzo, Giancarlo Fortino, Sajal K. Das,
- Abstract要約: 本稿では,不均一なデータ間の非エポジロン設定に適応学習を用いたモーメントに基づく分散低減手法を提案する。
異種データによる学習率調整から,分散に関する課題を克服し,効率を損なうとともに,収束の遅さを抑えることを目的としている。
- 参考スコア（独自算出の注目度）: 13.83895180419626
- License:
- Abstract: This paper proposes a novel federated algorithm that leverages momentum-based variance reduction with adaptive learning to address non-convex settings across heterogeneous data. We intend to minimize communication and computation overhead, thereby fostering a sustainable federated learning system. We aim to overcome challenges related to gradient variance, which hinders the model's efficiency, and the slow convergence resulting from learning rate adjustments with heterogeneous data. The experimental results on the image classification tasks with heterogeneous data reveal the effectiveness of our suggested algorithms in non-convex settings with an improved communication complexity of $\mathcal{O}(\epsilon^{-1})$ to converge to an $\epsilon$-stationary point - compared to the existing communication complexity $\mathcal{O}(\epsilon^{-2})$ of most prior works. The proposed federated version maintains the trade-off between the convergence rate, number of communication rounds, and test accuracy while mitigating the client drift in heterogeneous settings. The experimental results demonstrate the efficiency of our algorithms in image classification tasks (MNIST, CIFAR-10) with heterogeneous data.
- Abstract（参考訳）: 本稿では,不均一なデータ間の非凸設定に対応するために,適応学習によるモーメントに基づく分散低減を利用する新しいフェデレーションアルゴリズムを提案する。
コミュニケーションと計算のオーバーヘッドを最小限に抑え、持続可能な連合学習システムを構築することを目的としている。
我々は,モデルの効率を阻害する勾配分散と,不均一なデータによる学習率調整による緩やかな収束に関する課題を克服することを目的とする。
不均質なデータを用いた画像分類タスクの実験結果から,提案したアルゴリズムの非凸環境での有効性が明らかとなり,既存の通信複雑性である$\mathcal{O}(\epsilon^{-1})$に対して$\epsilon$-stationary pointに収束するために,$\mathcal{O}(\epsilon^{-2})$が改良された。
提案するフェデレーションバージョンでは,不均一な環境でクライアントのドリフトを緩和しながら,収束率,通信ラウンド数,テスト精度のトレードオフを維持している。
画像分類タスク(MNIST, CIFAR-10)における不均一データを用いたアルゴリズムの有効性を実験的に検証した。
関連論文リスト
- Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。
本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
論文 参考訳（メタデータ） (2024-08-18T16:50:39Z) - Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。
提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
論文 参考訳（メタデータ） (2024-06-12T17:53:28Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Composite federated learning with heterogeneous data [11.40641907024708]
本稿では,複合フェデレート学習(FL)問題を解くための新しいアルゴリズムを提案する。
このアルゴリズムは、近似演算子と通信を戦略的に分離することで非滑らかな正規化を管理し、データ類似性に関する仮定なしにクライアントのドリフトに対処する。
提案アルゴリズムは最適解の近傍に線形に収束し,数値実験における最先端手法よりもアルゴリズムの優位性を示す。
論文 参考訳（メタデータ） (2023-09-04T20:22:57Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Personalized Decentralized Multi-Task Learning Over Dynamic
Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。
本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。
合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-12-21T18:58:24Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。
運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
論文 参考訳（メタデータ） (2022-11-14T12:32:18Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。