論文の概要: Communication-Efficient Diffusion Strategy for Performance Improvement
of Federated Learning with Non-IID Data
- arxiv url: http://arxiv.org/abs/2207.07493v1
- Date: Fri, 15 Jul 2022 14:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 15:02:03.877518
- Title: Communication-Efficient Diffusion Strategy for Performance Improvement
of Federated Learning with Non-IID Data
- Title（参考訳）: 非IIDデータを用いたフェデレーション学習の性能向上のためのコミュニケーション効率の良い拡散戦略
- Authors: Seyoung Ahn, Soohyeong Kim, Yongseok Kwon, Joohan Park, Jiseung Youn
and Sunghyun Cho
- Abstract要約: フェデレートラーニング(FL)は、集中学習におけるプライバシー漏洩問題に対処する新しい学習パラダイムである。
FLでは,非独立かつ同一に分散した(非IID)特性を持つユーザは,グローバルモデルの性能を低下させる可能性がある。
非IIDデータを用いたFL性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。
- 参考スコア（独自算出の注目度）: 10.112913394578703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a novel learning paradigm that addresses the
privacy leakage challenge of centralized learning. However, in FL, users with
non-independent and identically distributed (non-IID) characteristics can
deteriorate the performance of the global model. Specifically, the global model
suffers from the weight divergence challenge owing to non-IID data. To address
the aforementioned challenge, we propose a novel diffusion strategy of the
machine learning (ML) model (FedDif) to maximize the FL performance with
non-IID data. In FedDif, users spread local models to neighboring users over
D2D communications. FedDif enables the local model to experience different
distributions before parameter aggregation. Furthermore, we theoretically
demonstrate that FedDif can circumvent the weight divergence challenge. On the
theoretical basis, we propose the communication-efficient diffusion strategy of
the ML model, which can determine the trade-off between the learning
performance and communication cost based on auction theory. The performance
evaluation results show that FedDif improves the test accuracy of the global
model by 11% compared to the baseline FL with non-IID settings. Moreover,
FedDif improves communication efficiency in perspective of the number of
transmitted sub-frames and models by 2.77 folds than the latest methods
- Abstract（参考訳）: フェデレートラーニング(FL)は、集中学習におけるプライバシー漏洩問題に対処する新しい学習パラダイムである。
しかしながら、flでは、非独立かつ同一の分散(非iid)特性を持つユーザは、グローバルモデルのパフォーマンスを低下させる可能性がある。
特に、グローバルモデルは、非IIDデータによる重量分散の課題に悩まされている。
この課題に対処するために,機械学習モデル(FedDif)の新たな拡散戦略を提案し,非IIDデータを用いたFL性能を最大化する。
FedDifでは、ユーザーはD2D通信を介して近隣のユーザーにローカルモデルを広める。
FedDifはパラメータアグリゲーションの前にローカルモデルが異なる分布を経験することを可能にする。
さらに,feeddifが重量分散を回避できることを理論的に証明する。
そこで本研究では,学習性能と通信コストのトレードオフをオークション理論に基づいて決定できるmlモデルのコミュニケーション効率の高い拡散戦略を提案する。
性能評価の結果,feeddifは,非iid設定のベースラインflと比較して,グローバルモデルのテスト精度を11%向上させた。
さらに、feddifは、送信されたサブフレーム数とモデルの2.77倍の通信効率を最新の方法よりも向上させる。
関連論文リスト
- CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。
中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。
本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
論文 参考訳（メタデータ） (2024-07-17T03:17:53Z) - Adaptive Hybrid Model Pruning in Federated Learning through Loss Exploration [17.589308358508863]
我々は、フェデレートされた損失探索フェーズを利用して、適応型ハイブリッドプルーニングを駆動する革新的アプローチであるAutoFLIPを紹介する。
我々は,AutoFLIPがグローバルコンバージェンスを効率的に加速するだけでなく,従来の手法に比べて精度と堅牢性も向上することを示した。
論文 参考訳（メタデータ） (2024-05-16T17:27:41Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳（メタデータ） (2021-07-14T08:32:39Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。