論文の概要: Distributed optimization: designed for federated learning
- arxiv url: http://arxiv.org/abs/2508.08606v1
- Date: Tue, 12 Aug 2025 03:39:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-13 21:07:34.289945
- Title: Distributed optimization: designed for federated learning
- Title（参考訳）: 分散最適化:連合学習用に設計された
- Authors: Wenyou Guo, Ting Qu, Chunrong Pan, George Q. Huang,
- Abstract要約: 本稿では,拡張ラグランジアン手法に基づく分散最適化アルゴリズムのクラスを提案する。
計算効率を向上させるために,複数の終了基準とパラメータ更新機構を開発する。
数値実験により,提案アルゴリズムは大規模設定において高い性能を示すことが示された。
- 参考スコア（独自算出の注目度）: 3.8623569699070357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL), as a distributed collaborative Machine Learning (ML) framework under privacy-preserving constraints, has garnered increasing research attention in cross-organizational data collaboration scenarios. This paper proposes a class of distributed optimization algorithms based on the augmented Lagrangian technique, designed to accommodate diverse communication topologies in both centralized and decentralized FL settings. Furthermore, we develop multiple termination criteria and parameter update mechanisms to enhance computational efficiency, accompanied by rigorous theoretical guarantees of convergence. By generalizing the augmented Lagrangian relaxation through the incorporation of proximal relaxation and quadratic approximation, our framework systematically recovers a broad of classical unconstrained optimization methods, including proximal algorithm, classic gradient descent, and stochastic gradient descent, among others. Notably, the convergence properties of these methods can be naturally derived within the proposed theoretical framework. Numerical experiments demonstrate that the proposed algorithm exhibits strong performance in large-scale settings with significant statistical heterogeneity across clients.
- Abstract（参考訳）: プライバシ保護制約下での分散コラボレーティブ機械学習(ML)フレームワークであるフェデレートラーニング(FL)は、組織間データコラボレーションシナリオにおける研究の注目を集めている。
本稿では,集中型と分散型両方のFL設定において,多様な通信トポロジに対応するために設計されたラグランジアン手法に基づく分散最適化アルゴリズムのクラスを提案する。
さらに,厳密な理論的保証を伴う計算効率を向上させるために,複数の終了基準とパラメータ更新機構を開発した。
近似緩和と二次近似を取り入れた拡張ラグランジアン緩和を一般化することにより、近似アルゴリズム、古典勾配勾配、確率勾配勾配等を含む古典的非制約最適化手法を体系的に復元する。
特に、これらの手法の収束特性は、提案された理論的枠組みの中で自然に導出することができる。
数値実験により,提案アルゴリズムはクライアント間で有意な統計的不均一性を有する大規模設定において高い性能を示すことが示された。
関連論文リスト
- Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning [0.3686808512438362]
本研究では、確率論的ニューラルネットワーク(PNN)のトレーニングを強化するためのハイブリッドメタヒューリスティックアルゴリズムの可能性について検討する。
勾配に基づくアプローチのような伝統的な学習手法は、しばしば高次元で不確実な環境を最適化するのに苦労する。
本稿では,複数の個体群に基づく最適化手法を組み合わせた制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-26T19:49:16Z) - Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。
本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。
我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文 参考訳（メタデータ） (2024-10-07T23:14:05Z) - A Hierarchical Federated Learning Approach for the Internet of Things [3.28418927821443]
大規模IoTデプロイメントに適した新しいフェデレーション学習ソリューションQHetFedを提案する。
我々は,QHetFedが常に高い学習精度を達成し,他の階層的アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-03-03T15:40:24Z) - Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。
まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。
有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-18T18:58:42Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。
近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。
本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文 参考訳（メタデータ） (2022-07-14T22:46:43Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。