論文の概要: GeFL: Model-Agnostic Federated Learning with Generative Models

• arxiv url: http://arxiv.org/abs/2412.18460v1
• Date: Tue, 24 Dec 2024 14:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:11.271359
• Title: GeFL: Model-Agnostic Federated Learning with Generative Models
• Title（参考訳）: GeFL: 生成モデルによるモデルに依存しないフェデレーション学習
• Authors: Honggu Kang, Seohyeon Cha, Joonhyuk Kang,
• Abstract要約: フェデレートラーニング(FL)は、ユーザのプライバシーを維持しながら、分散ラーニングにおいて有望なパラダイムである。 ヘテロジニアスモデルのユーザ間でグローバルな知識を集約する生成モデルを導入し,GeFL(Generative Model-Aided Federated Learning)を提案する。 我々は,GeFL-Fの一貫性のある性能向上を実証的に実証するとともに,多数のクライアントに対して優れたプライバシー保護と堅牢性を示す。
• 参考スコア（独自算出の注目度）: 3.4546761246181696
• License:
• Abstract: Federated learning (FL) is a promising paradigm in distributed learning while preserving the privacy of users. However, the increasing size of recent models makes it unaffordable for a few users to encompass the model. It leads the users to adopt heterogeneous models based on their diverse computing capabilities and network bandwidth. Correspondingly, FL with heterogeneous models should be addressed, given that FL typically involves training a single global model. In this paper, we propose Generative Model-Aided Federated Learning (GeFL), incorporating a generative model that aggregates global knowledge across users of heterogeneous models. Our experiments on various classification tasks demonstrate notable performance improvements of GeFL compared to baselines, as well as limitations in terms of privacy and scalability. To tackle these concerns, we introduce a novel framework, GeFL-F. It trains target networks aided by feature-generative models. We empirically demonstrate the consistent performance gains of GeFL-F, while demonstrating better privacy preservation and robustness to a large number of clients. Codes are available at [1].
• Abstract（参考訳）: フェデレートラーニング(FL)は、ユーザのプライバシーを維持しながら、分散ラーニングにおいて有望なパラダイムである。 しかし、最近のモデルのサイズが大きくなるため、少数のユーザーがモデルを包含することは困難である。 これによってユーザは、さまざまなコンピューティング能力とネットワーク帯域幅に基づいて、異種モデルを採用することができる。 FLは一般に1つの大域的なモデルを訓練するので、不均一なモデルを持つFLに対処すべきである。 本稿では、異種モデルのユーザ間でグローバルな知識を集約する生成モデルを導入し、GeFL(Generative Model-Aided Federated Learning)を提案する。 各種分類タスクの実験では,ベースラインに比べてGeFLの性能が顕著に向上し,プライバシやスケーラビリティの限界が認められた。 これらの問題に対処するために,新しいフレームワークGeFL-Fを導入する。 特徴生成モデルによって支援されたターゲットネットワークを訓練する。 我々は,GeFL-Fの一貫性のある性能向上を実証的に実証するとともに,多数のクライアントに対して優れたプライバシー保護と堅牢性を示す。 コードは[1]で入手できる。

関連論文リスト

• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
  フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。 深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-08-15T13:29:14Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• Personalized Federated Learning with Clustered Generalization [16.178571176116073]
  学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。 訓練対象におけるPFL法と従来のFL法の主な違い 本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
  論文  参考訳（メタデータ） (2021-06-24T14:17:00Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。