論文の概要: Tackling Data Heterogeneity in Federated Learning through Knowledge Distillation with Inequitable Aggregation
- arxiv url: http://arxiv.org/abs/2506.20431v1
- Date: Wed, 25 Jun 2025 13:42:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 21:00:42.760501
- Title: Tackling Data Heterogeneity in Federated Learning through Knowledge Distillation with Inequitable Aggregation
- Title（参考訳）: 不適切な集約を伴う知識蒸留によるフェデレーション学習におけるデータの不均一性に対処する
- Authors: Xing Ma,
- Abstract要約: フェデレートラーニングは、集中型トレーニングのパフォーマンスに近い分散環境でグローバルモデルをトレーニングすることを目的としている。
既存のほとんどのメソッドは、少数のクライアントだけが大規模なクライアント設定内でのトレーニングに参加するシナリオを見落としています。
KDIAでは、学生モデルは参加するクライアントの平均集約であり、教師モデルはすべてのクライアントの重み付けアグリゲーションによって形成される。
- 参考スコア（独自算出の注目度）: 2.792030485253753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning aims to train a global model in a distributed environment that is close to the performance of centralized training. However, issues such as client label skew, data quantity skew, and other heterogeneity problems severely degrade the model's performance. Most existing methods overlook the scenario where only a small portion of clients participate in training within a large-scale client setting, whereas our experiments show that this scenario presents a more challenging federated learning task. Therefore, we propose a Knowledge Distillation with teacher-student Inequitable Aggregation (KDIA) strategy tailored to address the federated learning setting mentioned above, which can effectively leverage knowledge from all clients. In KDIA, the student model is the average aggregation of the participating clients, while the teacher model is formed by a weighted aggregation of all clients based on three frequencies: participation intervals, participation counts, and data volume proportions. During local training, self-knowledge distillation is performed. Additionally, we utilize a generator trained on the server to generate approximately independent and identically distributed (IID) data features locally for auxiliary training. We conduct extensive experiments on the CIFAR-10/100/CINIC-10 datasets and various heterogeneous settings to evaluate KDIA. The results show that KDIA can achieve better accuracy with fewer rounds of training, and the improvement is more significant under severe heterogeneity.
- Abstract（参考訳）: フェデレートラーニングは、集中型トレーニングのパフォーマンスに近い分散環境でグローバルモデルをトレーニングすることを目的としている。
しかし、クライアントラベルスキュー、データ量スキュー、その他の不均一性問題などの問題は、モデルの性能を著しく低下させる。
既存のほとんどの手法は、少数のクライアントのみが大規模なクライアント設定内でのトレーニングに参加するシナリオを見落としていますが、我々の実験では、このシナリオがより困難なフェデレーション学習タスクを示すことを示しています。
そこで,上述したフェデレーション学習環境に対処するために,教師が学習する不平等集約(KDIA)戦略を用いた知識蒸留を提案し,すべてのクライアントからの知識を効果的に活用する。
KDIAでは、学生モデルは参加客の平均集約であり、教師モデルは、参加間隔、参加数、データボリューム比の3つの周波数に基づいて、全クライアントの重み付け集約によって形成される。
地域訓練では、自己知識蒸留が行われる。
さらに、サーバ上で訓練されたジェネレータを使用して、ほぼ独立かつ同一に分散された(IID)データ特徴を局所的に生成し、補助訓練を行う。
我々は、CIFAR-10/100/CINIC-10データセットと様々な異種設定に関する広範な実験を行い、KDIAを評価する。
その結果,KDIAはトレーニングラウンドが少ないほど精度が向上し,高度不均一性では改善がより重要であることがわかった。
関連論文リスト
- Enhancing Federated Learning Through Secure Cluster-Weighted Client Aggregation [4.869042695112397]
フェデレーテッド・ラーニング(FL)は機械学習において有望なパラダイムとして登場した。
FLでは、各デバイスにまたがるローカルデータセットに基づいて、グローバルモデルを反復的にトレーニングする。
本稿では、クライアント更新に重みを動的に割り当てるために、相似性スコア、k平均クラスタリング、和解信頼スコアを利用する新しいFLフレームワーク、ClusterGuardFLを紹介する。
論文 参考訳（メタデータ） (2025-03-29T04:29:24Z) - HFedCKD: Toward Robust Heterogeneous Federated Learning via Data-free Knowledge Distillation and Two-way Contrast [10.652998357266934]
データフリーな知識蒸留と双方向コントラスト(HFedCKD)に基づくヘテロジニアスフェデレーション方式を提案する。
HFedCKDは、データフリーな知識蒸留における低い参加率による知識オフセットを効果的に軽減し、モデルの性能と安定性を向上させる。
我々は画像とIoTデータセットに関する広範な実験を行い、提案したHFedCKDフレームワークの一般化と堅牢性を包括的に評価し、検証する。
論文 参考訳（メタデータ） (2025-03-09T08:32:57Z) - SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。
既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。
本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文 参考訳（メタデータ） (2024-06-18T01:56:22Z) - Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。
フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。
本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文 参考訳（メタデータ） (2022-11-24T13:08:43Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。
本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。
PENSは強力なベースラインに比べて高い精度を達成することができる。
論文 参考訳（メタデータ） (2021-07-18T19:05:44Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。