Fugu-MT 論文翻訳(概要): Noise-Robust and Resource-Efficient ADMM-based Federated Learning

論文の概要: Noise-Robust and Resource-Efficient ADMM-based Federated Learning

arxiv url: http://arxiv.org/abs/2409.13451v1
Date: Fri, 20 Sep 2024 12:32:22 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 07:04:14.292908
Title: Noise-Robust and Resource-Efficient ADMM-based Federated Learning
Title（参考訳）: ADMMに基づくフェデレーションラーニング
Authors: Ehsan Lari, Reza Arablouei, Vinay Chakravarthi Gogineni, Stefan Werner,
Abstract要約: フェデレートラーニング(FL)は、クライアントサーバ通信を活用して、分散データ上でグローバルモデルをトレーニングする。本稿では,通信負荷を低減しつつ,通信騒音に対するロバスト性を高める新しいFLアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 6.957420925496431
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) leverages client-server communications to train global models on decentralized data. However, communication noise or errors can impair model accuracy. To address this problem, we propose a novel FL algorithm that enhances robustness against communication noise while also reducing communication load. We derive the proposed algorithm through solving the weighted least-squares (WLS) regression problem as an illustrative example. We first frame WLS regression as a distributed convex optimization problem over a federated network employing random scheduling for improved communication efficiency. We then apply the alternating direction method of multipliers (ADMM) to iteratively solve this problem. To counteract the detrimental effects of cumulative communication noise, we introduce a key modification by eliminating the dual variable and implementing a new local model update at each participating client. This subtle yet effective change results in using a single noisy global model update at each client instead of two, improving robustness against additive communication noise. Furthermore, we incorporate another modification enabling clients to continue local updates even when not selected by the server, leading to substantial performance improvements. Our theoretical analysis confirms the convergence of our algorithm in both mean and the mean-square senses, even when the server communicates with a random subset of clients over noisy links at each iteration. Numerical results validate the effectiveness of our proposed algorithm and corroborate our theoretical findings.
Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントサーバ通信を活用して、分散データ上でグローバルモデルをトレーニングする。しかし、通信ノイズやエラーはモデルの精度を損なう可能性がある。この問題に対処するために,通信負荷を低減しつつ,通信騒音に対する堅牢性を高める新しいFLアルゴリズムを提案する。本稿では,重み付き最小二乗回帰問題(WLS)を具体例として,提案アルゴリズムを導出する。本稿では,分散凸最適化問題としてのWLS回帰を,ランダムスケジューリングを用いた分散ネットワーク上での分散凸最適化問題として,通信効率の向上を目的とした。次に、この問題を反復的に解くために乗算器の交互方向法(ADMM)を適用する。累積的な通信雑音による有害な影響を抑えるため,両変数を排除し,各クライアントで新たなローカルモデル更新を実装することで,鍵となる修正を導入する。この微妙ながら効果的な変更により、各クライアントで2つではなく1つのノイズの多いグローバルモデル更新を使用することで、追加的な通信ノイズに対する堅牢性が改善される。さらに、サーバに選択されていなくてもクライアントがローカル更新を継続できるように、また別の修正を加えて、大幅なパフォーマンス改善を実現しました。我々の理論解析は,サーバが各繰り返しにおけるノイズの多いリンク上でクライアントのランダムなサブセットと通信する場合でも,平均および平均2乗感覚におけるアルゴリズムの収束を確認している。その結果,提案アルゴリズムの有効性を検証し,理論的知見を裏付ける結果を得た。

関連論文リスト

FedScalar: A Communication efficient Federated Learning [0.0]
フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
論文参考訳（メタデータ） (2024-10-03T07:06:49Z)
Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文参考訳（メタデータ） (2024-05-16T14:22:49Z)
Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth [6.300376113680886]
フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。近年の研究者は、主にモデル圧縮により、連合学習のコミュニケーション効率を達成している。本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。
論文参考訳（メタデータ） (2024-05-06T08:00:43Z)
FedNMUT -- Federated Noisy Model Update Tracking Convergence Analysis [3.665841843512992]
分散ノイズモデル更新追跡フェデレート学習アルゴリズム(FedNMUT)を提案する。ノイズの多い通信チャネルで効率的に機能するように調整されている。 FedNMUTはノイズをパラメータに組み込んで、ノイズの多い通信チャネルの条件を模倣する。
論文参考訳（メタデータ） (2024-03-20T02:17:47Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。