論文の概要: GeFL: Model-Agnostic Federated Learning with Generative Models
- arxiv url: http://arxiv.org/abs/2412.18460v2
- Date: Sat, 17 May 2025 02:40:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.35621
- Title: GeFL: Model-Agnostic Federated Learning with Generative Models
- Title（参考訳）: GeFL: 生成モデルによるモデルに依存しないフェデレーション学習
- Authors: Honggu Kang, Seohyeon Cha, Joonhyuk Kang,
- Abstract要約: Federated Learning(FL)は、ローカルデータを共有せずにクライアント間で協調学習を可能にする分散トレーニングパラダイムである。
本稿では,ジェネレーティブ・モデル支援フェデレーション・ラーニング(GeFL)を提案する。
- 参考スコア（独自算出の注目度）: 3.4546761246181696
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Federated learning (FL) is a distributed training paradigm that enables collaborative learning across clients without sharing local data, thereby preserving privacy. However, the increasing scale and complexity of modern deep models often exceed the computational or memory capabilities of edge devices. Furthermore, clients may be constrained to use heterogeneous model architectures due to hardware variability (e.g., ASICs, FPGAs) or proprietary requirements that prevent the disclosure or modification of local model structures. These practical considerations motivate the need for model-heterogeneous FL, where clients participate using distinct model architectures. In this work, we propose Generative Model-Aided Federated Learning (GeFL), a framework that enables cross-client knowledge sharing via a generative model trained in a federated manner. This generative model captures global data semantics and facilitates local training without requiring model homogeneity across clients. While GeFL achieves strong performance, empirical analysis reveals limitations in scalability and potential privacy leakage due to generative sample memorization. To address these concerns, we propose GeFL-F, which utilizes feature-level generative modeling. This approach enhances scalability to large client populations and mitigates privacy risks. Extensive experiments across image classification tasks demonstrate that both GeFL and GeFL-F offer competitive performance in heterogeneous settings. Code is available at [1].
- Abstract（参考訳）: Federated Learning(FL)は、ローカルデータを共有せずにクライアント間で協調学習を可能にする分散トレーニングパラダイムである。
しかし、現代のディープモデルの規模と複雑さは、エッジデバイスの計算能力やメモリ能力を超えていることが多い。
さらに、クライアントは、ハードウェアの可変性(例えばASIC、FPGA)や、ローカルモデル構造の開示や変更を防ぐためのプロプライエタリな要件のために、異種モデルアーキテクチャを使用するように制約される。
これらの実践的な考察は、クライアントが異なるモデルアーキテクチャを使用して参加するモデルヘテロジニアスFLの必要性を動機付けます。
本研究では,ジェネレーティブ・モデル支援フェデレーション・ラーニング(GeFL)を提案する。
この生成モデルは、グローバルなデータセマンティクスをキャプチャし、クライアント間のモデル均一性を必要とせずに、局所的なトレーニングを促進する。
GeFLは強力なパフォーマンスを実現するが、経験的分析により、生成サンプルの記憶によるスケーラビリティと潜在的なプライバシー漏洩の限界が明らかになる。
これらの問題に対処するために,特徴レベルの生成モデルを用いたGeFL-Fを提案する。
このアプローチは、大規模なクライアントへのスケーラビリティを高め、プライバシリスクを軽減する。
画像分類タスクにわたる大規模な実験により、GeFLとGeFL-Fの両方が異種環境での競合性能を提供することが示された。
コードは[1]で入手できる。
関連論文リスト
- TraceFL: Interpretability-Driven Debugging in Federated Learning via Neuron Provenance [8.18537013016659]
Federated Learningでは、クライアントはローカルデータ上でモデルをトレーニングし、中央サーバにアップデートを送信する。
このコラボレーティブでプライバシ保護のトレーニングには、コストがかかる — FL開発者は、特定のクライアントにグローバルモデル予測を提供する上で、重大な課題に直面しています。
TraceFLは、個々のクライアントからグローバルモデルへの情報の流れを追跡することで、グローバルモデルの予測に責任を持つクライアントを識別する、きめ細かいニューロンのプロファイランスキャプチャー機構である。
論文 参考訳（メタデータ） (2023-12-21T07:48:54Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-08-15T13:29:14Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T20:12:27Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z) - Personalized Federated Learning with Clustered Generalization [16.178571176116073]
学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。
訓練対象におけるPFL法と従来のFL法の主な違い
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
論文 参考訳（メタデータ） (2021-06-24T14:17:00Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。