論文の概要: FedOSAA: Improving Federated Learning with One-Step Anderson Acceleration
- arxiv url: http://arxiv.org/abs/2503.10961v1
- Date: Fri, 14 Mar 2025 00:10:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-17 13:05:41.302074
- Title: FedOSAA: Improving Federated Learning with One-Step Anderson Acceleration
- Title（参考訳）: FedOSAA: One-Step Anderson Accelerationによるフェデレーション学習の改善
- Authors: Xue Feng, M. Paul Laiu, Thomas Strohmer,
- Abstract要約: Federated Learning(FL)は、複数のローカルクライアントと中央サーバが協力してモデルをトレーニングできる分散機械学習アプローチである。
特に分散低減手法を取り入れた一階法は、単純な実装と安定した性能のため、最も広く使われているFLアルゴリズムである。
本稿では,2次法に典型的に関連する高速収束を達成しつつ,1次法の簡易性を維持する新しい手法であるFedOSAAを提案する。
- 参考スコア（独自算出の注目度）: 3.096113258362507
- License:
- Abstract: Federated learning (FL) is a distributed machine learning approach that enables multiple local clients and a central server to collaboratively train a model while keeping the data on their own devices. First-order methods, particularly those incorporating variance reduction techniques, are the most widely used FL algorithms due to their simple implementation and stable performance. However, these methods tend to be slow and require a large number of communication rounds to reach the global minimizer. We propose FedOSAA, a novel approach that preserves the simplicity of first-order methods while achieving the rapid convergence typically associated with second-order methods. Our approach applies one Anderson acceleration (AA) step following classical local updates based on first-order methods with variance reduction, such as FedSVRG and SCAFFOLD, during local training. This AA step is able to leverage curvature information from the history points and gives a new update that approximates the Newton-GMRES direction, thereby significantly improving the convergence. We establish a local linear convergence rate to the global minimizer of FedOSAA for smooth and strongly convex loss functions. Numerical comparisons show that FedOSAA substantially improves the communication and computation efficiency of the original first-order methods, achieving performance comparable to second-order methods like GIANT.
- Abstract（参考訳）: Federated Learning(FL)は、複数のローカルクライアントと中央サーバが自身のデバイスにデータを保存しながら、協調的にモデルをトレーニングできる分散機械学習アプローチである。
特に分散低減手法を取り入れた一階法は、単純な実装と安定した性能のため、最も広く使われているFLアルゴリズムである。
しかし、これらの手法は遅い傾向にあり、グローバルな最小化に到達するためには多数の通信ラウンドが必要となる。
本稿では,2次法に典型的に関連する高速収束を達成しつつ,1次法の簡易性を維持する新しい手法であるFedOSAAを提案する。
本稿では,FedSVRG や SCAFFOLD などのばらつきを低減した一階法に基づく局所的な局所的更新に,アンダーソン加速度(AA) のステップを適用した。
このAAステップは、履歴ポイントからの曲率情報を活用することができ、Newton-GMRES方向を近似した新しい更新を提供し、コンバージェンスを大幅に改善する。
我々は、滑らかで凸な損失関数に対して、FedOSAAの大域最小化器に局所的な線形収束速度を確立する。
数値的な比較では、FedOSAAは元の一階法の通信と計算効率を大幅に改善し、GIANTのような二階法に匹敵する性能を実現している。
関連論文リスト
- Covariances for Free: Exploiting Mean Distributions for Federated Learning with Pre-Trained Models [19.74434265098346]
最近の研究は、サーバにおけるローカルクライアントデータの分布を集約するために、一階統計と二階統計の利用を調査している。
クラス共分散行列の非バイアス推定器に基づく学習自由度推定法を提案する。
クラス形式で一階統計のみを使用する手法は,クライアントがサーバに通信する手段であり,二階統計を通信する手法によって要求される通信コストのごく一部しか発生しない。
論文 参考訳（メタデータ） (2024-12-18T20:40:14Z) - Inferring Neural Signed Distance Functions by Overfitting on Single Noisy Point Clouds through Finetuning Data-Driven based Priors [53.6277160912059]
本稿では,データ駆動型およびオーバーフィット型手法のプロースを推進し,より一般化し,高速な推論を行い,より高精度なニューラルネットワークSDFを学習する手法を提案する。
そこで本研究では,距離管理やクリーンポイントクラウド,あるいは点正規化を伴わずに,データ駆動型プリエントを微調整できる新しい統計的推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-25T16:48:44Z) - Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。
第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。
第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
論文 参考訳（メタデータ） (2024-08-30T09:35:36Z) - Federated Optimization with Doubly Regularized Drift Correction [20.30761752651984]
フェデレートラーニング(Federated Learning)は、データをローカライズしながら、分散デバイス間で機械学習モデルをトレーニングする分散最適化パラダイムである。
以前の研究では、ドリフトを緩和するための様々な戦略が提案されていたが、バニラ勾配よりも通信計算のトレードオフが一様に改善されたことは示されていない。
我々は, (i) DANEがヘッセン類似性制約の下で所望の通信低減を実現することを示し, (ii) 任意の局所解法をサポートする拡張DANE+を提案する。
我々は,局所的な計算複雑性を改善し,DANE/Dと同一の通信複雑性を保持する新しい手法であるFedRedを提案する。
論文 参考訳（メタデータ） (2024-04-12T12:57:43Z) - On Principled Local Optimization Methods for Federated Learning [2.628859872479184]
論文は、以下の3つの方向において、局所的手法の理論的基礎を前進させることを目的としている。
まず、フェデレートラーニングで最も人気のあるアルゴリズムであるFedAvgのシャープバウンドを確立する。
次に,FedAc(Federated Accelerated Descent)を提案する。
論文 参考訳（メタデータ） (2024-01-24T03:57:45Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted
Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。
局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。
textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文 参考訳（メタデータ） (2023-02-13T05:10:30Z) - FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type
Method for Federated Learning [75.46959684676371]
我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。
FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
論文 参考訳（メタデータ） (2022-06-17T15:21:39Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。