論文の概要: Layer-wise Update Aggregation with Recycling for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2503.11146v1
• Date: Fri, 14 Mar 2025 07:33:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:27.027945
• Title: Layer-wise Update Aggregation with Recycling for Communication-Efficient Federated Learning
• Title（参考訳）: コミュニケーション効率のよいフェデレーション学習のための再資源化による階層的更新集約
• Authors: Jisoo Kim, Sungmin Kang, Sunwoo Lee,
• Abstract要約: 過剰なコミュニケーションコストは、フェデレートラーニング(FL)における一般的なパフォーマンスボトルネックである 通信効率FLのための再資源化手法であるFedLUARを提案する。 本手法はAG Newsの精度をFedAvgとほぼ同等にし,通信コストを17%削減する。
• 参考スコア（独自算出の注目度）: 9.798652712202806
• License:
• Abstract: Expensive communication cost is a common performance bottleneck in Federated Learning (FL), which makes it less appealing in real-world applications. Many communication-efficient FL methods focus on discarding a part of model updates mostly based on gradient magnitude. In this study, we find that recycling previous updates, rather than simply dropping them, more effectively reduces the communication cost while maintaining FL performance. We propose FedLUAR, a Layer-wise Update Aggregation with Recycling scheme for communication-efficient FL. We first define a useful metric that quantifies the extent to which the aggregated gradients influences the model parameter values in each layer. FedLUAR selects a few layers based on the metric and recycles their previous updates on the server side. Our extensive empirical study demonstrates that the update recycling scheme significantly reduces the communication cost while maintaining model accuracy. For example, our method achieves nearly the same AG News accuracy as FedAvg, while reducing the communication cost to just 17%.
• Abstract（参考訳）: 高価なコミュニケーションコストは、フェデレートラーニング(FL)における一般的なパフォーマンスボトルネックであり、現実のアプリケーションでは魅力を損なう。 多くの通信効率の高いFL法は、主に勾配等級に基づくモデル更新の一部を破棄することに重点を置いている。 本研究では, 従来の更新を再利用することで, FL性能を維持しつつ, 通信コストを削減できることを見出した。 通信効率FLのための再資源化手法であるFedLUARを提案する。 まず、各層におけるモデルパラメータ値にどの程度の勾配が影響するかを定量化する有用な計量を定義する。 FedLUARはメトリックに基づいていくつかのレイヤを選択し、サーバ側で以前の更新をリサイクルする。 本研究では, モデル精度を維持しながら, 更新リサイクル方式により通信コストを大幅に削減できることを実証した。 例えば,本手法はFedAvgとほぼ同一のAG News精度を実現し,通信コストを17%に削減する。

関連論文リスト

• Communication-Efficient Federated Learning Based on Explanation-Guided Pruning for Remote Sensing Image Classification [2.725507329935916]
  コミュニケーション効率のよいフェデレートラーニング(FL)のための説明誘導型プルーニング戦略を導入する。 我々の戦略は、グローバルモデルの能力を高めながら、共有モデルの更新数を効果的に削減します。 この作業のコードはhttps://git.tu-berlin.de/rsim/FL-LRPで公開される。
  論文  参考訳（メタデータ） (2025-01-20T13:59:41Z)
• SPEQ: Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning [51.10866035483686]
  最近のオフポリシーアルゴリズムは、更新からデータへの比率を高め、環境相互作用ごとにより勾配の更新を行うことで、サンプル効率を向上させる。 これにより、サンプル効率が向上するが、必要な勾配更新の数が増えるため、計算コストが大幅に向上する。 本稿では,学習を異なる学習段階に分割することで,計算効率を向上させるためのサンプル効率向上手法を提案する。
  論文  参考訳（メタデータ） (2025-01-15T09:04:19Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• FedDec: Peer-to-peer Aided Federated Learning [15.952956981784219]
  フェデレートラーニング(FL)は、プライバシを損なうことなく、複数のエージェントのデータを活用する機械学習モデルのトレーニングを可能にした。 FLは、データ不均一性、部分的なデバイス参加、サーバとの頻繁な通信に弱いことが知られている。 FLの局所勾配更新間でのピアツーピア通信とパラメータ平均化をインターリーブするアルゴリズムであるFedDecを提案する。
  論文  参考訳（メタデータ） (2023-06-11T16:30:57Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Adaptive Differential Filters for Fast and Communication-Efficient Federated Learning [12.067586493399308]
  フェデレートラーニング(FL)シナリオは、クライアントとサーバ間で頻繁にニューラルネットワークのアップデートを送信することによって、大きな通信オーバーヘッドを生成する。 本稿では,FLプロセスのスパース更新を補う畳み込みフィルタの粒度で動作する新しいスケーリング手法を提案する。 提案手法は, より高速に収束し, 送信データの総量を最大377倍に削減しながら, 中央サーバモデルの性能を向上させる。
  論文  参考訳（メタデータ） (2022-04-09T08:23:25Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。