Fugu-MT 論文翻訳(概要): FedScalar: A Communication efficient Federated Learning

論文の概要: FedScalar: A Communication efficient Federated Learning

arxiv url: http://arxiv.org/abs/2410.02260v1
Date: Thu, 3 Oct 2024 07:06:49 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 07:36:05.210732
Title: FedScalar: A Communication efficient Federated Learning
Title（参考訳）: FedScalar: コミュニケーション効率の良いフェデレーションラーニング
Authors: M. Rostami, S. S. Kia,
Abstract要約: フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) has gained considerable popularity for distributed machine learning due to its ability to preserve the privacy of participating agents by eliminating the need for data aggregation. Nevertheless, communication costs between agents and the central server in FL are substantial in large-scale problems and remain a limiting factor for this algorithm. This paper introduces an innovative algorithm, called \emph{FedScalar}, within the federated learning framework aimed at improving communication efficiency. Unlike traditional FL methods that require agents to send high-dimensional vectors to the server, \emph{FedScalar} enables agents to communicate updates using a single scalar. Each agent encodes its updated model parameters into a scalar through the inner product between its local update difference and a random vector, which is then transmitted to the server. The server decodes this information by projecting the averaged scalar values onto the random vector. Our method thereby significantly reduces communication overhead. Technically, we demonstrate that the proposed algorithm achieves a convergence rate of $O(1/\sqrt{K})$ to a stationary point for smooth, non-convex loss functions. Additionally, our analysis shows that altering the underlying distribution of the random vector generated by the server can reduce the variance during the aggregation step of the algorithm. Finally, we validate the performance and communication efficiency of our algorithm with numerical simulations.
Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、データアグリゲーションの必要性を排除して参加エージェントのプライバシを保護する能力によって、分散機械学習でかなりの人気を集めている。それでも、FLにおけるエージェントと中央サーバ間の通信コストは大規模な問題に大きく影響しており、このアルゴリズムの制限要因として残されている。本稿では,コミュニケーション効率の向上を目的としたフェデレート学習フレームワークに,'emph{FedScalar} という革新的なアルゴリズムを導入する。エージェントがサーバに高次元ベクトルを送信する必要のある従来のFLメソッドとは異なり、 \emph{FedScalar} はエージェントが単一のスカラーを使って更新を通信できるようにする。各エージェントは、更新されたモデルパラメータを、そのローカル更新差分とランダムベクトルの間の内部積を通じてスカラーにエンコードし、サーバに送信する。サーバは、平均化されたスカラー値をランダムベクトルに投影することにより、この情報をデコードする。これにより通信オーバーヘッドを大幅に削減できる。技術的には、提案アルゴリズムは滑らかな非凸損失関数の定常点に$O(1/\sqrt{K})$の収束率を達成できることを実証する。さらに,本解析により,サーバが生成するランダムベクトルの基底分布を変化させることで,アルゴリズムのアグリゲーション段階における分散を低減できることが示唆された。最後に,本アルゴリズムの性能と通信効率を数値シミュレーションにより検証する。

関連論文リスト

Noise-Robust and Resource-Efficient ADMM-based Federated Learning [6.957420925496431]
フェデレートラーニング(FL)は、クライアントサーバ通信を活用して、分散データ上でグローバルモデルをトレーニングする。本稿では,通信負荷を低減しつつ,通信騒音に対するロバスト性を高める新しいFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-20T12:32:22Z)
SignSGD with Federated Voting [69.06621279967865]
SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
論文参考訳（メタデータ） (2024-03-25T02:32:43Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
論文参考訳（メタデータ） (2023-11-06T20:11:41Z)
OFedQIT: Communication-Efficient Online Federated Learning via Quantization and Intermittent Transmission [7.6058140480517356]
オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
論文参考訳（メタデータ） (2022-05-13T07:46:43Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。提案手法は実際のデータセットで完全に検証される。
論文参考訳（メタデータ） (2022-02-11T17:52:56Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文参考訳（メタデータ） (2020-10-02T10:41:59Z)
Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets [147.11434031193164]
本研究では,データサンプルが不均一に作業者間で分散されている場合の耐障害性フェデレーション学習について検討する。データセットを戦略的に破壊する可能性のある敵意的な欠陥のある労働者が存在する場合、交換されたローカルメッセージは信頼できない。本研究は,Nesterovの加速技術に依存するフォールトレジリエント勾配(FRPG)アルゴリズムを提案する。強い凸損失関数に対して、FRPGとLFRPGは、ベンチマークロバストな集約アルゴリズムよりも明らかに高速な収束率を持つ。
論文参考訳（メタデータ） (2020-06-17T16:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。