Fugu-MT 論文翻訳(概要): pFedDSH: Enabling Knowledge Transfer in Personalized Federated Learning through Data-free Sub-Hypernetwork

論文の概要: pFedDSH: Enabling Knowledge Transfer in Personalized Federated Learning through Data-free Sub-Hypernetwork

arxiv url: http://arxiv.org/abs/2508.05157v1
Date: Thu, 07 Aug 2025 08:43:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 18:59:39.769886
Title: pFedDSH: Enabling Knowledge Transfer in Personalized Federated Learning through Data-free Sub-Hypernetwork
Title（参考訳）: pFedDSH:データフリーサブハイパーネットワークによる個人化フェデレーション学習における知識伝達の実現
Authors: Thinh Nguyen, Le Huy Khiem, Van-Tuan Tran, Khoa D Doan, Nitesh V Chawla, Kok-Seng Wong,
Abstract要約: Federated Learning (FL)は、生データを共有せずに、分散クライアント間で協調的なモデルトレーニングを可能にする。既存のパーソナライズド・フェデレート・ラーニング(pFL)メソッドは静的なクライアント参加を前提としています。本稿では,ベクトルを埋め込んで各クライアントのパーソナライズされたモデルを生成する,集中型ハイパーネットワークに基づく新しいフレームワークを提案する。
参考スコア（独自算出の注目度）: 25.473179274411514
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) enables collaborative model training across distributed clients without sharing raw data, offering a significant privacy benefit. However, most existing Personalized Federated Learning (pFL) methods assume a static client participation, which does not reflect real-world scenarios where new clients may continuously join the federated system (i.e., dynamic client onboarding). In this paper, we explore a practical scenario in which a new batch of clients is introduced incrementally while the learning task remains unchanged. This dynamic environment poses various challenges, including preserving performance for existing clients without retraining and enabling efficient knowledge transfer between client batches. To address these issues, we propose Personalized Federated Data-Free Sub-Hypernetwork (pFedDSH), a novel framework based on a central hypernetwork that generates personalized models for each client via embedding vectors. To maintain knowledge stability for existing clients, pFedDSH incorporates batch-specific masks, which activate subsets of neurons to preserve knowledge. Furthermore, we introduce a data-free replay strategy motivated by DeepInversion to facilitate backward transfer, enhancing existing clients' performance without compromising privacy. Extensive experiments conducted on CIFAR-10, CIFAR-100, and Tiny-ImageNet demonstrate that pFedDSH outperforms the state-of-the-art pFL and Federated Continual Learning baselines in our investigation scenario. Our approach achieves robust performance stability for existing clients, as well as adaptation for new clients and efficient utilization of neural resources.
Abstract（参考訳）: Federated Learning(FL)は、生データを共有せずに、分散クライアント間で協調的なモデルトレーニングを可能にする。しかし、既存のパーソナライズド・フェデレート・ラーニング(pFL)メソッドは静的なクライアント参加を前提としており、新しいクライアントがフェデレーション・システム(つまり動的クライアントのオンボーディング)に継続的に参加する現実のシナリオを反映していない。本稿では,学習課題が変わらず,新たなクライアントを段階的に導入する実践シナリオについて検討する。この動的環境は、リトレーニングなしで既存のクライアントのパフォーマンスを保ち、クライアントのバッチ間で効率的な知識伝達を可能にするなど、さまざまな課題を引き起こします。このような問題に対処するため,我々は,各クライアントのパーソナライズされたモデルを生成する中央ハイパーネットワークに基づく新しいフレームワークであるPersonalized Data-Free Sub-Hypernetwork (pFedDSH)を提案する。既存のクライアントの知識安定性を維持するため、pFedDSHにはバッチ固有のマスクが組み込まれている。さらに,プライバシを損なうことなく,下位転送を容易にし,既存のクライアントのパフォーマンスを向上させるために,DeepInversionが動機とするデータフリーリプレイ戦略を導入する。 CIFAR-10, CIFAR-100, Tiny-ImageNetで行った大規模な実験により, pFedDSHは調査シナリオにおいて最先端のpFLとフェデレートされた連続学習ベースラインを上回る性能を示した。提案手法は,既存のクライアントに対して堅牢なパフォーマンス安定性を実現するとともに,新たなクライアントへの適応とニューラルネットワーク資源の効率的な利用を実現する。

関連論文リスト

Optimal Strategies for Federated Learning Maintaining Client Privacy [8.518748080337838]
本稿では,フェデレートラーニングシステムのモデル性能とコミュニケーションのトレードオフについて検討する。グローバルなトレーニングラウンド当たりの1つのローカルエポックのトレーニングは、同じプライバシ予算を維持しながら、最適なパフォーマンスを提供することを示す。
論文参考訳（メタデータ） (2025-01-24T12:34:38Z)
Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
PeFLL: Personalized Federated Learning by Learning to Learn [16.161876130822396]
PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。 PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
論文参考訳（メタデータ） (2023-06-08T19:12:42Z)
Personalized Privacy-Preserving Framework for Cross-Silo Federated Learning [0.0]
Federated Learning(FL)は有望な分散ディープラーニング(DL)フレームワークであり、プライベートデータを共有することなく、クライアント間で共同でトレーニングされたDLベースのアプローチを可能にする。本稿では,PPPFL(Personalized Privacy-Preserving Federated Learning)という新しいフレームワークを提案する。提案するフレームワークは,MNIST,Fashion-MNIST,CIFAR-10,CIFAR-100など,さまざまなデータセット上で複数のFLベースラインより優れている。
論文参考訳（メタデータ） (2023-02-22T07:24:08Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文参考訳（メタデータ） (2022-07-20T23:14:33Z)
FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。本稿では,FRAug(Federated Representation Augmentation)を提案する。当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文参考訳（メタデータ） (2022-05-30T07:43:42Z)
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文参考訳（メタデータ） (2022-03-24T20:00:03Z)
Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal [27.64806509651952]
FLシナリオにおける漸進的な学習プロセスに対処する新しいアルゴリズムを提案する。まず、クライアントデータのプライバシーを確保するために、ディープ変分埋め込み(Deep Variational Embeddings)を提案する。第2に,学習した知識をモデルでリハーサルするサーバサイドトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-10-19T02:26:35Z)
RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文参考訳（メタデータ） (2021-07-07T15:42:49Z)
Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。