論文の概要: Adaptive Personlization in Federated Learning for Highly Non-i.i.d. Data
- arxiv url: http://arxiv.org/abs/2207.03448v1
- Date: Thu, 7 Jul 2022 17:25:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 13:59:14.241374
- Title: Adaptive Personlization in Federated Learning for Highly Non-i.i.d. Data
- Title（参考訳）: 非i.i.d.データのフェデレーション学習における適応的人格化
- Authors: Yousef Yeganeh, Azade Farshad, Johann Boschmann, Richard Gaus,
Maximilian Frantzen, Nassir Navab
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、医療機関にグローバルモデルにおけるコラボレーションの見通しを提供する分散ラーニング手法である。
本研究では,FLの中間的半言語モデルを生成する適応階層クラスタリング手法について検討する。
本実験は, 分類精度の標準的なFL法と比較して, 不均質分布において有意な性能向上を示した。
- 参考スコア（独自算出の注目度）: 37.667379000751325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a distributed learning method that offers medical
institutes the prospect of collaboration in a global model while preserving the
privacy of their patients. Although most medical centers conduct similar
medical imaging tasks, their differences, such as specializations, number of
patients, and devices, lead to distinctive data distributions. Data
heterogeneity poses a challenge for FL and the personalization of the local
models. In this work, we investigate an adaptive hierarchical clustering method
for FL to produce intermediate semi-global models, so clients with similar data
distribution have the chance of forming a more specialized model. Our method
forms several clusters consisting of clients with the most similar data
distributions; then, each cluster continues to train separately. Inside the
cluster, we use meta-learning to improve the personalization of the
participants' models. We compare the clustering approach with classical FedAvg
and centralized training by evaluating our proposed methods on the HAM10k
dataset for skin lesion classification with extreme heterogeneous data
distribution. Our experiments demonstrate significant performance gain in
heterogeneous distribution compared to standard FL methods in classification
accuracy. Moreover, we show that the models converge faster if applied in
clusters and outperform centralized training while using only a small subset of
data.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、医療機関が患者のプライバシを保ちながら、グローバルモデルにおけるコラボレーションの見通しを提供する分散学習手法である。
ほとんどの医療センターは同様の医療画像処理を行っているが、専門化、患者数、装置などの違いは、異なるデータ分布をもたらす。
データの不均一性は、flとローカルモデルのパーソナライズにとって課題となる。
本研究では、FLの適応的階層的クラスタリング手法を用いて、中間的な半言語モデルを生成することにより、類似したデータ分布を持つクライアントがより専門的なモデルを作成することができることを示す。
提案手法は,最も類似したデータ分布を持つクライアントからなるクラスタを複数構成し,各クラスタが別々にトレーニングを続ける。
クラスタ内ではメタラーニングを用いて参加者のモデルのパーソナライズを改善する。
クラスタリング手法を従来のFedAvgと比較し,ヘテロジニアスなデータ分布を持つ皮膚病変分類のためのHAM10kデータセット上で提案手法の評価を行った。
本実験は, 標準fl法と比較して, 異種分布における有意な性能向上を示す。
さらに,クラスタに適用した場合,モデルがより高速に収束し,データサブセットのみを使用しながら集中型トレーニングより優れることを示す。
関連論文リスト
- FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳（メタデータ） (2023-11-28T05:44:26Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - From Isolation to Collaboration: Federated Class-Heterogeneous Learning for Chest X-Ray Classification [4.0907576027258985]
フェデレートラーニングは,グローバル胸部X線分類モデル(CXR)を協調的にトレーニングするための,有望なパラダイムである。
本研究では,選択的アグリゲーションを用いてグローバルモデルの協調学習を行うFL法である外科的アグリゲーションを提案する。
その結果,本手法は現在の手法よりも優れ,一般化性が高いことがわかった。
論文 参考訳（メタデータ） (2023-01-17T03:53:29Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - FedSLD: Federated Learning with Shared Label Distribution for Medical
Image Classification [6.0088002781256185]
分類タスクのための共有ラベル分布(FedSLD)を用いたフェデレートラーニングを提案する。
FedSLDは、分布の知識が与えられた場合、最適化中に各データサンプルの局所的な目的への貢献を調整する。
その結果,FedSLDは従来のFL最適化アルゴリズムよりもコンバージェンス性能が高いことがわかった。
論文 参考訳（メタデータ） (2021-10-15T21:38:25Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z) - Federated learning with hierarchical clustering of local updates to
improve training on non-IID data [3.3517146652431378]
一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
論文 参考訳（メタデータ） (2020-04-24T15:16:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。