論文の概要: Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
- arxiv url: http://arxiv.org/abs/2504.12742v1
- Date: Thu, 17 Apr 2025 08:32:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-18 14:35:04.454964
- Title: Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
- Title（参考訳）: 勾配追従とモーメントを用いた分散非凸複合フェデレーション学習
- Authors: Yuan Zhou, Xinli Shi, Xuelong Li, Jiachen Zhong, Guanghui Wen, Jinde Cao,
- Abstract要約: 分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 78.27945336558987
- License:
- Abstract: Decentralized Federated Learning (DFL) eliminates the reliance on the server-client architecture inherent in traditional federated learning, attracting significant research interest in recent years. Simultaneously, the objective functions in machine learning tasks are often nonconvex and frequently incorporate additional, potentially nonsmooth regularization terms to satisfy practical requirements, thereby forming nonconvex composite optimization problems. Employing DFL methods to solve such general optimization problems leads to the formulation of Decentralized Nonconvex Composite Federated Learning (DNCFL), a topic that remains largely underexplored. In this paper, we propose a novel DNCFL algorithm, termed \bf{DEPOSITUM}. Built upon proximal stochastic gradient tracking, DEPOSITUM mitigates the impact of data heterogeneity by enabling clients to approximate the global gradient. The introduction of momentums in the proximal gradient descent step, replacing tracking variables, reduces the variance introduced by stochastic gradients. Additionally, DEPOSITUM supports local updates of client variables, significantly reducing communication costs. Theoretical analysis demonstrates that DEPOSITUM achieves an expected $\epsilon$-stationary point with an iteration complexity of $\mathcal{O}(1/\epsilon^2)$. The proximal gradient, consensus errors, and gradient estimation errors decrease at a sublinear rate of $\mathcal{O}(1/T)$. With appropriate parameter selection, the algorithm achieves network-independent linear speedup without requiring mega-batch sampling. Finally, we apply DEPOSITUM to the training of neural networks on real-world datasets, systematically examining the influence of various hyperparameters on its performance. Comparisons with other federated composite optimization algorithms validate the effectiveness of the proposed method.
- Abstract（参考訳）: 分散フェデレートラーニング(DFL)は、従来のフェデレートラーニングに固有のサーバ・クライアント・アーキテクチャへの依存を排除し、近年において大きな研究関心を集めている。
同時に、機械学習タスクの目的関数は、しばしば非凸であり、実際的な要件を満たすために、追加の、潜在的に非滑らかな正規化項を組み込んで、非凸複合最適化問題を形成する。
このような最適化問題を解決するためにDFL法を用いると、分散非凸複合フェデレートラーニング(DNCFL)が定式化される。
本稿では,新しい DNCFL アルゴリズムである \bf{DEPOSITUM} を提案する。
近似確率勾配追跡に基づいて構築されたDEPOSITUMは、クライアントがグローバル勾配を近似できるようにすることで、データ不均一性の影響を緩和する。
追跡変数を置き換えた近位勾配降下ステップにおける運動量の導入は、確率勾配によってもたらされる分散を減少させる。
さらに、DEPOSITUMはクライアント変数のローカル更新をサポートし、通信コストを大幅に削減する。
理論的解析により、DEPOSITUM は $\epsilon$-stationary point と $\mathcal{O}(1/\epsilon^2)$ の反復複雑性を達成できることが示された。
近似勾配, コンセンサス誤差, 勾配推定誤差は$\mathcal{O}(1/T)$で減少する。
パラメータ選択を適切に行えば,メガバッチサンプリングを必要とせず,ネットワーク非依存の線形高速化を実現することができる。
最後に、実世界のデータセット上でのニューラルネットワークのトレーニングにDePOSITUMを適用し、その性能に対する様々なハイパーパラメータの影響を体系的に検討する。
他のフェデレーション複合最適化アルゴリズムとの比較により,提案手法の有効性が検証された。
関連論文リスト
- Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning [13.83895180419626]
本稿では,不均一なデータ間の非エポジロン設定に適応学習を用いたモーメントに基づく分散低減手法を提案する。
異種データによる学習率調整から,分散に関する課題を克服し,効率を損なうとともに,収束の遅さを抑えることを目的としている。
論文 参考訳（メタデータ） (2024-12-16T11:02:38Z) - Adaptive Consensus Gradients Aggregation for Scaled Distributed Training [6.234802839923543]
サブスペース最適化のレンズを用いて分散勾配凝集過程を解析する。
本手法は,複数のタスクのユビキタス平均化に対して,通信量と計算量の両方において極めて効率的でありながら,性能の向上を実証する。
論文 参考訳（メタデータ） (2024-11-06T08:16:39Z) - Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。
本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
論文 参考訳（メタデータ） (2024-08-18T16:50:39Z) - Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。
本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:50:19Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-24T02:19:39Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Accelerating Federated Edge Learning via Topology Optimization [41.830942005165625]
フェデレートエッジラーニング(FEEL)は、プライバシー保護の分散ラーニングを実現するための有望なパラダイムとして考えられている。
ストラグラー装置の存在により、過度の学習時間を消費する。
フェデレーション学習における不均一性問題に対処するために,新しいトポロジ最適化フェデレーション・エッジ・ラーニング(TOFEL)手法を提案する。
論文 参考訳（メタデータ） (2022-04-01T14:49:55Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。