論文の概要: FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation
- arxiv url: http://arxiv.org/abs/2409.05242v1
- Date: Sun, 8 Sep 2024 23:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 16:22:22.973936
- Title: FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation
- Title（参考訳）: FedFT:周波数空間変換によるフェデレーション学習におけるコミュニケーション性能の向上
- Authors: Chamath Palihawadana, Nirmalie Wiratunga, Anjana Wijekoon, Harsha Kalutarage,
- Abstract要約: フェデレート学習環境におけるモデルパラメータを伝達するための簡易かつ効果的な手法であるFedFT(Federated frequency-space transformation)を導入する。
FedFTは離散コサイン変換(DCT)を用いて周波数空間のモデルパラメータを表現し、効率的な圧縮と通信オーバーヘッドの低減を実現している。
我々は,3つの最先端FLベースラインとの比較研究を用いて,FedFT手法の4つのデータセット上での汎用性を実証した。
- 参考スコア（独自算出の注目度）: 0.361593752383807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Communication efficiency is a widely recognised research problem in Federated Learning (FL), with recent work focused on developing techniques for efficient compression, distribution and aggregation of model parameters between clients and the server. Particularly within distributed systems, it is important to balance the need for computational cost and communication efficiency. However, existing methods are often constrained to specific applications and are less generalisable. In this paper, we introduce FedFT (federated frequency-space transformation), a simple yet effective methodology for communicating model parameters in a FL setting. FedFT uses Discrete Cosine Transform (DCT) to represent model parameters in frequency space, enabling efficient compression and reducing communication overhead. FedFT is compatible with various existing FL methodologies and neural architectures, and its linear property eliminates the need for multiple transformations during federated aggregation. This methodology is vital for distributed solutions, tackling essential challenges like data privacy, interoperability, and energy efficiency inherent to these environments. We demonstrate the generalisability of the FedFT methodology on four datasets using comparative studies with three state-of-the-art FL baselines (FedAvg, FedProx, FedSim). Our results demonstrate that using FedFT to represent the differences in model parameters between communication rounds in frequency space results in a more compact representation compared to representing the entire model in frequency space. This leads to a reduction in communication overhead, while keeping accuracy levels comparable and in some cases even improving it. Our results suggest that this reduction can range from 5% to 30% per client, depending on dataset.
- Abstract（参考訳）: コミュニケーション効率は, クライアントとサーバ間のモデルパラメータの効率的な圧縮, 分散, 集約技術の開発に重点を置いている。
特に分散システムでは,計算コストと通信効率のバランスをとることが重要である。
しかし、既存のメソッドは特定のアプリケーションに制約されることが多く、一般化しにくい。
本稿ではFedFT(Federated frequency-space transformation, 周波数空間変換)を提案する。
FedFTは離散コサイン変換(DCT)を用いて周波数空間のモデルパラメータを表現し、効率的な圧縮と通信オーバーヘッドの低減を実現している。
FedFTは、既存のFL方法論やニューラルアーキテクチャと互換性があり、その線形性は、フェデレーションアグリゲーション中の多重変換の必要性を排除している。
この方法論は分散ソリューションにとって不可欠であり、これらの環境に固有のデータプライバシ、相互運用性、エネルギー効率といった重要な課題に対処する。
我々は,FedAvg,FedProx,FedSimの3つの最先端FLベースラインとの比較研究を用いて,FedFT手法の4つのデータセット上での一般性を示す。
その結果,周波数空間における通信ラウンド間のモデルパラメータの差を表すためにFedFTを用いることで,周波数空間におけるモデル全体の表現に比べて,よりコンパクトな表現が得られることがわかった。
これにより通信オーバーヘッドが削減され、精度は同等に保たれ、場合によっては改善される。
この削減は、データセットによって、クライアント毎の5%から30%の範囲で可能であることを示唆しています。
関連論文リスト
- Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。
FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。
提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文 参考訳（メタデータ） (2024-10-16T23:50:39Z) - DynamicFL: Federated Learning with Dynamic Communication Resource Allocation [34.97472382870816]
Federated Learning(FL)は、複数のユーザがローカルデータを使ってモデルを分散的にトレーニングできる、協調的な機械学習フレームワークである。
我々は,グローバルモデルの性能と通信コストのトレードオフを調査する新しいFLフレームワークであるDynamicFLを紹介する。
モデル精度は最大10%向上し,DynamicFLは最先端の手法を超越していることを示す。
論文 参考訳（メタデータ） (2024-09-08T05:53:32Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Parametric Feature Transfer: One-shot Federated Learning with Foundation
Models [14.97955440815159]
ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。
本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
論文 参考訳（メタデータ） (2024-02-02T19:34:46Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics
in Industrial Metaverse [49.1501082763252]
本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。
動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。
そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。
ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
論文 参考訳（メタデータ） (2022-11-07T04:33:24Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Communication-Efficient Federated Distillation with Active Data Sampling [6.516631577963641]
フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。
フェデレート蒸留(Federated Distillation, FD)は、通信効率とロバストなFLを実現するための代替案である。
本稿では、FDのための汎用メタアルゴリズムを提案し、実験により鍵パラメータの影響について検討する。
本稿では,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-14T07:50:55Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。