論文の概要: Avoid Forgetting by Preserving Global Knowledge Gradients in Federated Learning with Non-IID Data
- arxiv url: http://arxiv.org/abs/2505.20485v2
- Date: Thu, 29 May 2025 22:56:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 12:43:13.103203
- Title: Avoid Forgetting by Preserving Global Knowledge Gradients in Federated Learning with Non-IID Data
- Title（参考訳）: 非IIDデータを用いたフェデレーション学習におけるグローバル知識勾配の保存による予測回避
- Authors: Abhijit Chunduru, Majid Morafah, Mahdi Morafah, Vishnu Pandi Chellapandi, Ang Li,
- Abstract要約: FedProjは、グローバルな意思決定境界をしっかりと学習し、ローカルトレーニング中に忘れることを避ける、連邦学習フレームワークである。
本稿では,ローカルトレーニングの各段階における勾配更新を規制するために,公開されていないデータセット上での平均アンサンブルロジットのエピソードメモリを活用することを提案する。
- 参考スコア（独自算出の注目度）: 6.665439437942121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The inevitable presence of data heterogeneity has made federated learning very challenging. There are numerous methods to deal with this issue, such as local regularization, better model fusion techniques, and data sharing. Though effective, they lack a deep understanding of how data heterogeneity can affect the global decision boundary. In this paper, we bridge this gap by performing an experimental analysis of the learned decision boundary using a toy example. Our observations are surprising: (1) we find that the existing methods suffer from forgetting and clients forget the global decision boundary and only learn the perfect local one, and (2) this happens regardless of the initial weights, and clients forget the global decision boundary even starting from pre-trained optimal weights. In this paper, we present FedProj, a federated learning framework that robustly learns the global decision boundary and avoids its forgetting during local training. To achieve better ensemble knowledge fusion, we design a novel server-side ensemble knowledge transfer loss to further calibrate the learned global decision boundary. To alleviate the issue of learned global decision boundary forgetting, we further propose leveraging an episodic memory of average ensemble logits on a public unlabeled dataset to regulate the gradient updates at each step of local training. Experimental results demonstrate that FedProj outperforms state-of-the-art methods by a large margin.
- Abstract（参考訳）: データの不均一性の必然的存在は、フェデレート学習を非常に困難にしている。
この問題には、局所正規化、より良いモデル融合技術、データ共有など、多くの方法がある。
効果はあるものの、データの不均一性が世界的決定境界にどのように影響するかを深く理解していない。
本稿では,このギャップを,おもちゃの例を用いて学習した意思決定境界を実験的に解析することによって橋渡しする。
既存の手法では,(1)グローバルな意思決定境界を忘れて,完全なローカルな判断境界のみを学習し,(2)初期的重みに関係なく,クライアントは事前訓練した最適重みから出発してもグローバルな意思決定境界を忘れてしまう。
本稿では,FedProjについて述べる。FedProjは,グローバルな意思決定境界をしっかり学習し,ローカルトレーニング中に忘れられることを避けるための,フェデレート学習フレームワークである。
より優れたアンサンブル知識融合を実現するために,学習したグローバルな決定境界を校正するために,サーバ側アンサンブル知識伝達損失を新たに設計する。
学習したグローバルな意思決定境界を忘れることの問題を緩和するために、公開されていないデータセット上の平均アンサンブルログのエピソードメモリを活用して、ローカルトレーニングの各ステップにおける勾配更新を調整することを提案する。
実験の結果、FedProjは最先端の手法よりも大きなマージンで優れていることが示された。
関連論文リスト
- FedSKC: Federated Learning with Non-IID Data via Structural Knowledge Collaboration [43.25824181502647]
FedSKCのキーとなるアイデアは、相互依存関係データ分散からドメインの好みを抽出し、転送することである。
FedSKCは、コントラスト学習、グローバルな不一致集約、グローバルな期間レビューの3つのコンポーネントで構成されている。
論文 参考訳（メタデータ） (2025-05-25T05:24:49Z) - Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch [50.632535091877706]
Federated Semi-Supervised Learning (FSSL)は、ラベル付きデータに制限のあるクライアント間でラベル付きデータを活用して、強力な一般化能力を持つグローバルモデルをトレーニングすることを目的としている。
ほとんどのFSSL手法は擬似ラベルによる整合正則化に依存しており、局所的またはグローバルなモデルからの予測を監督信号としてハード擬似ラベルに変換する。
擬似ラベルの品質は、フェデレーション学習の本質的な側面であるデータ不均一性によって大きく劣化していることを示す。
論文 参考訳（メタデータ） (2025-03-17T14:41:51Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Heterogeneous Federated Knowledge Graph Embedding Learning and
Unlearning [14.063276595895049]
Federated Learning(FL)は、生データを共有せずに分散クライアント間でグローバル機械学習モデルをトレーニングするパラダイムである。
ヘテロジニアスなKG埋め込み学習とアンラーニングのための新しいFLフレームワークであるFedLUを提案する。
我々は,FedLUがリンク予測と知識忘れの両方において優れた結果を得ることを示す。
論文 参考訳（メタデータ） (2023-02-04T02:44:48Z) - Handling Data Heterogeneity in Federated Learning via Knowledge
Distillation and Fusion [20.150635780778384]
フェデレートラーニング(FL)は、中央サーバの助けを借りて、複数のデバイスにまたがるグローバル機械学習モデルの分散トレーニングをサポートする。
この問題に対処するため,我々はグローバルな知識融合方式でフェデレーション学習を設計する。
FedKFの主なアイデアは、サーバがグローバルな知識を返却して、各トレーニングラウンドにおけるローカルな知識と融合させることである。
論文 参考訳（メタデータ） (2022-07-23T07:20:22Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Global Knowledge Distillation in Federated Learning [3.7311680121118345]
本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。
提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
論文 参考訳（メタデータ） (2021-06-30T18:14:24Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-06T11:51:47Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。