論文の概要: FedDW: Distilling Weights through Consistency Optimization in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2412.04521v1
• Date: Thu, 05 Dec 2024 12:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:14.884531
• Title: FedDW: Distilling Weights through Consistency Optimization in Heterogeneous Federated Learning
• Title（参考訳）: FedDW:不均一なフェデレーション学習における一貫性最適化による重みの蒸留
• Authors: Jiayu Liu, Yong Wang, Nianbin Wang, Jing Yang, Xiaohui Tao,
• Abstract要約: Federated Learning(FL)は、データの集中化なしにデバイス間でのニューラルネットワークトレーニングを可能にする、革新的な分散機械学習パラダイムである。 従来の研究では、IID環境では、モデルのパラメータ構造が特定の一貫性の原則に従うことが期待されている。 本稿では,両者の整合性を識別し,FedDWフレームワークの基盤となるトレーニングの調整に活用する。 実験結果から,FedDWは10種類の最先端FL法より優れ,高度不均一条件下では平均3%精度が向上した。
• 参考スコア（独自算出の注目度）: 14.477559543490242
• License:
• Abstract: Federated Learning (FL) is an innovative distributed machine learning paradigm that enables neural network training across devices without centralizing data. While this addresses issues of information sharing and data privacy, challenges arise from data heterogeneity across clients and increasing network scale, leading to impacts on model performance and training efficiency. Previous research shows that in IID environments, the parameter structure of the model is expected to adhere to certain specific consistency principles. Thus, identifying and regularizing these consistencies can mitigate issues from heterogeneous data. We found that both soft labels derived from knowledge distillation and the classifier head parameter matrix, when multiplied by their own transpose, capture the intrinsic relationships between data classes. These shared relationships suggest inherent consistency. Therefore, the work in this paper identifies the consistency between the two and leverages it to regulate training, underpinning our proposed FedDW framework. Experimental results show FedDW outperforms 10 state-of-the-art FL methods, improving accuracy by an average of 3% in highly heterogeneous settings. Additionally, we provide a theoretical proof that FedDW offers higher efficiency, with the additional computational load from backpropagation being negligible. The code is available at https://github.com/liuvvvvv1/FedDW.
• Abstract（参考訳）: Federated Learning(FL)は、データの集中化なしにデバイス間でのニューラルネットワークトレーニングを可能にする、革新的な分散機械学習パラダイムである。 これは情報共有とデータのプライバシの問題に対処するが、クライアント間のデータの均一性やネットワークスケールの増大によって問題が発生し、モデルのパフォーマンスとトレーニング効率に影響を及ぼす。 従来の研究では、IID環境では、モデルのパラメータ構造が特定の一貫性の原則に従うことが期待されている。 したがって、これらの成分の同定と規則化は、異種データから問題を緩和することができる。 知識蒸留と分類器の頭部パラメータ行列から得られたソフトラベルは,両者の変換によって乗算した場合,データクラス間の本質的な関係を捉える。 これらの共有関係は、固有の一貫性を示唆している。 そこで本稿では,両者の整合性を識別し,FedDWフレームワークを基盤として,トレーニングの調整に活用する。 実験結果から,FedDWは10種類の最先端FL法より優れ,高度不均一条件下では平均3%精度が向上した。 さらに, バックプロパゲーションによる計算負荷が無視可能であることから, FedDWがより高い効率を提供するという理論的証明を提供する。 コードはhttps://github.com/liuvvvv1/FedDWで公開されている。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
  Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。 本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。 本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
  論文  参考訳（メタデータ） (2024-03-25T16:49:38Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning [29.626725039794383]
  簡単な学習方法であるFederated Averaging with Feature Normalization Update (FedFN)を紹介する。 事前訓練されたResNet18に適用しても, 広範囲な実験によりFedFNの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-22T09:37:33Z)
• Mitigating Data Absence in Federated Learning Using Privacy-Controllable Data Digests [12.65383500988952]
  フェデレートラーニングとデータダイジェスト(FedDig)フレームワークを紹介します。 FedDigは、新しいプライバシー管理可能なデータダイジェスト表現を使用して、予期しない配布変更を管理する。 さまざまなデータ欠如のシナリオにおいて、5つのベースラインアルゴリズムをかなり上回ります。
  論文  参考訳（メタデータ） (2022-10-03T06:54:44Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。