論文の概要: Addressing Heterogeneity in Federated Learning via Distributional Transformation

• arxiv url: http://arxiv.org/abs/2210.15025v1
• Date: Wed, 26 Oct 2022 20:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 13:08:47.641837
• Title: Addressing Heterogeneity in Federated Learning via Distributional Transformation
• Title（参考訳）: 分布変換によるフェデレーション学習における不均一性への取り組み
• Authors: Haolin Yuan, Bo Hui, Yuchen Yang, Philippe Burlina, Neil Zhenqiang Gong, and Yinzhi Cao
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングすることを可能にする。 FLの大きな課題の1つは、データの分散が不均一である場合、すなわち、あるクライアントから別のクライアントへ異なる場合である。 本研究では、列車およびテスト時間分布変換によるFL性能(モデル精度)の向上を目的とした、DisTransと呼ばれる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.99565338024758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) allows multiple clients to collaboratively train a deep learning model. One major challenge of FL is when data distribution is heterogeneous, i.e., differs from one client to another. Existing personalized FL algorithms are only applicable to narrow cases, e.g., one or two data classes per client, and therefore they do not satisfactorily address FL under varying levels of data heterogeneity. In this paper, we propose a novel framework, called DisTrans, to improve FL performance (i.e., model accuracy) via train and test-time distributional transformations along with a double-input-channel model structure. DisTrans works by optimizing distributional offsets and models for each FL client to shift their data distribution, and aggregates these offsets at the FL server to further improve performance in case of distributional heterogeneity. Our evaluation on multiple benchmark datasets shows that DisTrans outperforms state-of-the-art FL methods and data augmentation methods under various settings and different degrees of client distributional heterogeneity.
• Abstract（参考訳）: フェデレーション学習(fl)は、複数のクライアントがディープラーニングモデルを協調的にトレーニングすることを可能にする。 flの1つの大きな課題は、データ分散が異種である場合、すなわち、あるクライアントから別のクライアントへ異なる場合である。 既存のパーソナライズされたFLアルゴリズムは、クライアント毎の1つか2つのデータクラスのような狭いケースにのみ適用でき、従ってFLを様々なレベルのデータヘテロジニティで適切に扱うことができない。 本稿では,2重入力チャネルモデル構造とともに,列車およびテスト時間分布変換によるFL性能(モデル精度)を向上させるための新しいフレームワークであるDisTransを提案する。 DisTransは、各FLクライアントの分散オフセットとモデルを最適化してデータの分散をシフトし、FLサーバでこれらのオフセットを集約することで、分散の不均一な場合のパフォーマンスをさらに向上する。 複数のベンチマークデータを用いた評価の結果,DisTrans は,各種設定およびクライアント分布の不均一性の度合いの違いにより,最先端FL法やデータ拡張法よりも優れていた。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities [4.9851737525099225]
  フェデレートラーニング(FL)は、データとデバイスの不均一性の両方に影響されることが多い。 本稿では,この変換に勾配インバージョン手法を応用した新しいFLフレームワークを提案する。 提案手法により,トレーニングモデルの精度を最大20%向上し,FLトレーニングの進捗を最大35%向上させることができる。
  論文  参考訳（メタデータ） (2023-09-24T03:19:40Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。