Fugu-MT 論文翻訳(概要): Dataset Distillation-based Hybrid Federated Learning on Non-IID Data

論文の概要: Dataset Distillation-based Hybrid Federated Learning on Non-IID Data

arxiv url: http://arxiv.org/abs/2409.17517v1
Date: Thu, 26 Sep 2024 03:52:41 GMT
ステータス: 処理完了
システム内更新日: 2024-09-28 23:17:44.771187
Title: Dataset Distillation-based Hybrid Federated Learning on Non-IID Data
Title（参考訳）: 非IIDデータを用いたデータセット蒸留に基づくハイブリッドフェデレーション学習
Authors: Xiufang Shi, Wei Zhang, Mincheng Wu, Guangyi Liu, Zhenyu Wen, Shibo He, Tejal Shah, Rajiv Ranjan
Abstract要約: 本稿では,データセット蒸留を統合して,独立および等分散(IID)データを生成するハイブリッド・フェデレーション学習フレームワークHFLDDを提案する。クライアントを異種クラスタに分割し、クラスタ内の異なるクライアント間でのデータラベルがバランスが取れないようにします。このトレーニングプロセスは、従来のIDデータに対するフェデレーション学習に似ているため、モデルトレーニングにおける非IIDデータの影響を効果的に軽減する。
参考スコア（独自算出の注目度）: 19.01147151081893
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In federated learning, the heterogeneity of client data has a great impact on the performance of model training. Many heterogeneity issues in this process are raised by non-independently and identically distributed (Non-IID) data. This study focuses on the issue of label distribution skew. To address it, we propose a hybrid federated learning framework called HFLDD, which integrates dataset distillation to generate approximately independent and equally distributed (IID) data, thereby improving the performance of model training. Particularly, we partition the clients into heterogeneous clusters, where the data labels among different clients within a cluster are unbalanced while the data labels among different clusters are balanced. The cluster headers collect distilled data from the corresponding cluster members, and conduct model training in collaboration with the server. This training process is like traditional federated learning on IID data, and hence effectively alleviates the impact of Non-IID data on model training. Furthermore, we compare our proposed method with typical baseline methods on public datasets. Experimental results demonstrate that when the data labels are severely imbalanced, the proposed HFLDD outperforms the baseline methods in terms of both test accuracy and communication cost.
Abstract（参考訳）: フェデレートラーニングでは、クライアントデータの異質性はモデルトレーニングのパフォーマンスに大きな影響を与えます。このプロセスにおける多くの不均一性問題は、非独立で同一に分布する(Non-IID)データによって提起される。本研究では,ラベル分布スキューの問題に焦点をあてる。そこで本研究では,データセット蒸留を統合して,ほぼ独立かつ均等に分散した(IID)データを生成するハイブリッド学習フレームワークHFLDDを提案する。特に、クライアントを異種クラスタに分割し、クラスタ内の異なるクライアント間でのデータラベルがバランスをとらず、異なるクラスタ間でのデータラベルがバランスをとる。クラスタヘッダーは、対応するクラスタメンバーから蒸留データを収集し、サーバと協調してモデルトレーニングを行う。このトレーニングプロセスは、従来のIDデータに対するフェデレーション学習に似ているため、モデルトレーニングにおける非IIDデータの影響を効果的に軽減する。さらに,提案手法を公開データセット上の典型的なベースライン手法と比較した。実験の結果,データラベルが著しく不均衡である場合,提案手法は試験精度と通信コストの両面において,ベースライン法よりも優れていることがわかった。

関連論文リスト

Data-Efficient Pretraining with Group-Level Data Influence Modeling [49.18903821780051]
グループレベルデータ影響モデリング(Group-MATES)は、新しいデータ効率事前学習手法である。 Group-MATESは、事前学習モデルをデータセットで局所的に探索することで、オラクルグループレベルの影響を収集する。その後、関係データの影響モデルを微調整し、個々の影響の相関重み付けとしてオラクルを近似する。
論文参考訳（メタデータ） (2025-02-20T16:34:46Z)
Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
論文参考訳（メタデータ） (2025-02-05T16:33:36Z)
FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文参考訳（メタデータ） (2023-03-02T01:39:16Z)
CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
論文参考訳（メタデータ） (2023-02-21T02:53:37Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文参考訳（メタデータ） (2022-08-04T04:24:16Z)
FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文参考訳（メタデータ） (2022-04-30T06:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。