論文の概要: GeFL: Model-Agnostic Federated Learning with Generative Models

• arxiv url: http://arxiv.org/abs/2412.18460v1
• Date: Tue, 24 Dec 2024 14:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 19:23:17.800906
• Title: GeFL: Model-Agnostic Federated Learning with Generative Models
• Title（参考訳）: GeFL: 生成モデルによるモデルに依存しないフェデレーション学習
• Authors: Honggu Kang, Seohyeon Cha, Joonhyuk Kang,
• Abstract要約: フェデレートラーニング(FL)は、ユーザのプライバシーを維持しながら、分散ラーニングにおいて有望なパラダイムである。 ヘテロジニアスモデルのユーザ間でグローバルな知識を集約する生成モデルを導入し,GeFL(Generative Model-Aided Federated Learning)を提案する。 我々は,GeFL-Fの一貫性のある性能向上を実証的に実証するとともに,多数のクライアントに対して優れたプライバシー保護と堅牢性を示す。
• 参考スコア（独自算出の注目度）: 3.4546761246181696
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated learning (FL) is a promising paradigm in distributed learning while preserving the privacy of users. However, the increasing size of recent models makes it unaffordable for a few users to encompass the model. It leads the users to adopt heterogeneous models based on their diverse computing capabilities and network bandwidth. Correspondingly, FL with heterogeneous models should be addressed, given that FL typically involves training a single global model. In this paper, we propose Generative Model-Aided Federated Learning (GeFL), incorporating a generative model that aggregates global knowledge across users of heterogeneous models. Our experiments on various classification tasks demonstrate notable performance improvements of GeFL compared to baselines, as well as limitations in terms of privacy and scalability. To tackle these concerns, we introduce a novel framework, GeFL-F. It trains target networks aided by feature-generative models. We empirically demonstrate the consistent performance gains of GeFL-F, while demonstrating better privacy preservation and robustness to a large number of clients. Codes are available at [1].
• Abstract（参考訳）: フェデレートラーニング(FL)は、ユーザのプライバシーを維持しながら、分散ラーニングにおいて有望なパラダイムである。 しかし、最近のモデルのサイズが大きくなるため、少数のユーザーがモデルを包含することは困難である。 これによってユーザは、さまざまなコンピューティング能力とネットワーク帯域幅に基づいて、異種モデルを採用することができる。 FLは一般に1つの大域的なモデルを訓練するので、不均一なモデルを持つFLに対処すべきである。 本稿では、異種モデルのユーザ間でグローバルな知識を集約する生成モデルを導入し、GeFL(Generative Model-Aided Federated Learning)を提案する。 各種分類タスクの実験では,ベースラインに比べてGeFLの性能が顕著に向上し,プライバシやスケーラビリティの限界が認められた。 これらの問題に対処するために,新しいフレームワークGeFL-Fを導入する。 特徴生成モデルによって支援されたターゲットネットワークを訓練する。 我々は,GeFL-Fの一貫性のある性能向上を実証的に実証するとともに,多数のクライアントに対して優れたプライバシー保護と堅牢性を示す。 コードは[1]で入手できる。

関連論文リスト

• Hypernetworks for Model-Heterogeneous Personalized Federated Learning [13.408669475480824]
  本稿では、クライアント固有の埋め込みベクトルを入力とし、各クライアントの異種モデルに合わせてパーソナライズされたパラメータを出力するサーバサイドハイパーネットワークを提案する。 知識共有の促進と計算の削減を目的として,ハイパーネットワーク内のマルチヘッド構造を導入し,類似のモデルサイズを持つクライアントがヘッドを共有できるようにする。 我々のフレームワークは外部データセットに依存しておらず、クライアントモデルアーキテクチャの開示を必要としない。
  論文  参考訳（メタデータ） (2025-07-30T02:24:26Z)
• Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
  ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。 異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。 PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• FedSKD: Aggregation-free Model-heterogeneous Federated Learning using Multi-dimensional Similarity Knowledge Distillation [7.944298319589845]
  フェデレートラーニング(FL)は、直接データを共有することなく、プライバシー保護のための協調モデルトレーニングを可能にする。 MHFL(Model-heterogeneous FL)は、クライアントが計算資源やアプリケーション固有のニーズに合わせて、不均一なアーキテクチャでパーソナライズされたモデルを訓練することを可能にする。 ピアツーピア(P2P)FLはサーバ依存を除去するが、モデルドリフトと知識の希釈に悩まされ、不均一な設定での有効性が制限される。 ラウンドロビンモデル循環による直接知識交換を容易にする新しいMHFLフレームワークであるFedSKDを提案する。
  論文  参考訳（メタデータ） (2025-03-23T05:33:10Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• TraceFL: Interpretability-Driven Debugging in Federated Learning via Neuron Provenance [8.18537013016659]
  Federated Learningでは、クライアントはローカルデータ上でモデルをトレーニングし、中央サーバにアップデートを送信する。 このコラボレーティブでプライバシ保護のトレーニングには、コストがかかる — FL開発者は、特定のクライアントにグローバルモデル予測を提供する上で、重大な課題に直面しています。 TraceFLは、個々のクライアントからグローバルモデルへの情報の流れを追跡することで、グローバルモデルの予測に責任を持つクライアントを識別する、きめ細かいニューロンのプロファイランスキャプチャー機構である。
  論文  参考訳（メタデータ） (2023-12-21T07:48:54Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
  フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。 深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-08-15T13:29:14Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• Personalized Federated Learning with Clustered Generalization [16.178571176116073]
  学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。 訓練対象におけるPFL法と従来のFL法の主な違い 本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
  論文  参考訳（メタデータ） (2021-06-24T14:17:00Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。