論文の概要: Communication-Efficient Diffusion Strategy for Performance Improvement
of Federated Learning with Non-IID Data
- arxiv url: http://arxiv.org/abs/2207.07493v1
- Date: Fri, 15 Jul 2022 14:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 15:02:03.877518
- Title: Communication-Efficient Diffusion Strategy for Performance Improvement
of Federated Learning with Non-IID Data
- Title(参考訳): 非IIDデータを用いたフェデレーション学習の性能向上のためのコミュニケーション効率の良い拡散戦略
- Authors: Seyoung Ahn, Soohyeong Kim, Yongseok Kwon, Joohan Park, Jiseung Youn
and Sunghyun Cho
- Abstract要約: フェデレートラーニング(FL)は、集中学習におけるプライバシー漏洩問題に対処する新しい学習パラダイムである。
FLでは,非独立かつ同一に分散した(非IID)特性を持つユーザは,グローバルモデルの性能を低下させる可能性がある。
非IIDデータを用いたFL性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。
- 参考スコア(独自算出の注目度): 10.112913394578703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a novel learning paradigm that addresses the
privacy leakage challenge of centralized learning. However, in FL, users with
non-independent and identically distributed (non-IID) characteristics can
deteriorate the performance of the global model. Specifically, the global model
suffers from the weight divergence challenge owing to non-IID data. To address
the aforementioned challenge, we propose a novel diffusion strategy of the
machine learning (ML) model (FedDif) to maximize the FL performance with
non-IID data. In FedDif, users spread local models to neighboring users over
D2D communications. FedDif enables the local model to experience different
distributions before parameter aggregation. Furthermore, we theoretically
demonstrate that FedDif can circumvent the weight divergence challenge. On the
theoretical basis, we propose the communication-efficient diffusion strategy of
the ML model, which can determine the trade-off between the learning
performance and communication cost based on auction theory. The performance
evaluation results show that FedDif improves the test accuracy of the global
model by 11% compared to the baseline FL with non-IID settings. Moreover,
FedDif improves communication efficiency in perspective of the number of
transmitted sub-frames and models by 2.77 folds than the latest methods
- Abstract(参考訳): フェデレートラーニング(FL)は、集中学習におけるプライバシー漏洩問題に対処する新しい学習パラダイムである。
しかしながら、flでは、非独立かつ同一の分散(非iid)特性を持つユーザは、グローバルモデルのパフォーマンスを低下させる可能性がある。
特に、グローバルモデルは、非IIDデータによる重量分散の課題に悩まされている。
この課題に対処するために,機械学習モデル(FedDif)の新たな拡散戦略を提案し,非IIDデータを用いたFL性能を最大化する。
FedDifでは、ユーザーはD2D通信を介して近隣のユーザーにローカルモデルを広める。
FedDifはパラメータアグリゲーションの前にローカルモデルが異なる分布を経験することを可能にする。
さらに,feeddifが重量分散を回避できることを理論的に証明する。
そこで本研究では,学習性能と通信コストのトレードオフをオークション理論に基づいて決定できるmlモデルのコミュニケーション効率の高い拡散戦略を提案する。
性能評価の結果,feeddifは,非iid設定のベースラインflと比較して,グローバルモデルのテスト精度を11%向上させた。
さらに、feddifは、送信されたサブフレーム数とモデルの2.77倍の通信効率を最新の方法よりも向上させる。
関連論文リスト
- Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。
本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文 参考訳(メタデータ) (2024-03-05T09:18:29Z) - Parametric Feature Transfer: One-shot Federated Learning with Foundation
Models [14.97955440815159]
ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。
本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
論文 参考訳(メタデータ) (2024-02-02T19:34:46Z) - Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文 参考訳(メタデータ) (2023-12-16T11:40:49Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳(メタデータ) (2022-08-10T06:36:49Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。