論文の概要: Deploying Models to Non-participating Clients in Federated Learning without Fine-tuning: A Hypernetwork-based Approach
- arxiv url: http://arxiv.org/abs/2508.12673v1
- Date: Mon, 18 Aug 2025 07:11:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:11.053144
- Title: Deploying Models to Non-participating Clients in Federated Learning without Fine-tuning: A Hypernetwork-based Approach
- Title(参考訳): ファインチューニングなしのフェデレーション学習における非参加型クライアントへのモデル展開--ハイパーネットワークベースのアプローチ
- Authors: Yuhao Zhou, Jindi Lv, Yuxin Tian, Dan Si, Qing Ye, Jiancheng Lv,
- Abstract要約: フェデレートラーニング(FL)は、プライバシー保護のための協調学習のための有望なパラダイムとして登場した。
本稿では,分布認識型埋め込みを前提としたハイパーネットワークを用いて,特殊モデルを動的に生成するHyperFedZeroを提案する。
- 参考スコア(独自算出の注目度): 22.030687488408496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has emerged as a promising paradigm for privacy-preserving collaborative learning, yet data heterogeneity remains a critical challenge. While existing methods achieve progress in addressing data heterogeneity for participating clients, they fail to generalize to non-participating clients with in-domain distribution shifts and resource constraints. To mitigate this issue, we present HyperFedZero, a novel method that dynamically generates specialized models via a hypernetwork conditioned on distribution-aware embeddings. Our approach explicitly incorporates distribution-aware inductive biases into the model's forward pass, extracting robust distribution embeddings using a NoisyEmbed-enhanced extractor with a Balancing Penalty, effectively preventing feature collapse. The hypernetwork then leverages these embeddings to generate specialized models chunk-by-chunk for non-participating clients, ensuring adaptability to their unique data distributions. Extensive experiments on multiple datasets and models demonstrate HyperFedZero's remarkable performance, surpassing competing methods consistently with minimal computational, storage, and communication overhead. Moreover, ablation studies and visualizations further validate the necessity of each component, confirming meaningful adaptations and validating the effectiveness of HyperFedZero.
- Abstract(参考訳): フェデレートラーニング(FL)は、プライバシ保護のための協調学習のための有望なパラダイムとして登場したが、データの異質性は依然として重要な課題である。
既存の手法は、参加するクライアントのデータの不均一性に対処する過程で進歩するが、ドメイン内の分散シフトやリソース制約を伴う非参加型クライアントへの一般化には失敗する。
この問題を軽減するために,分布認識埋め込みを前提としたハイパーネットワークを用いて,特殊モデルを動的に生成するHyperFedZeroを提案する。
提案手法は, モデル前方パスに分布認識誘導バイアスを明示的に組み込んで, ノイズエンベッド型抽出器とバランシングペナルティを併用したロバストな分布埋め込みを抽出し, 特徴の崩壊を効果的に防止する。
ハイパーネットワークは、これらの埋め込みを活用して、参加していないクライアント向けにチャンク・バイ・チャンク(チャンク・バイ・チャンク)モデルを生成する。
複数のデータセットとモデルに関する大規模な実験は、HyperFedZeroの顕著なパフォーマンスを示し、最小の計算、ストレージ、通信オーバーヘッドで競合するメソッドを一貫して上回っている。
さらに、アブレーション研究と可視化は、各コンポーネントの必要性をさらに検証し、意味のある適応を確認し、HyperFedZeroの有効性を検証する。
関連論文リスト
- Asynchronous Personalized Federated Learning through Global Memorization [16.630360485032163]
Federated Learningは、機密データを集中化せずに、分散デバイス間で協調的なモデルトレーニングを可能にすることにより、プライバシ保護ソリューションを提供する。
サーバ側セマンティックジェネレータを用いて、クライアントがパーソナライズされたモデルを開発することを可能にする非同期パーソナライズドフェデレーション学習フレームワークを提案する。
このジェネレータは、グローバルモデル監視の下でデータ自由な知識伝達によって訓練され、見知らぬサンプルと見えないサンプルの両方を生成することにより、クライアントデータの多様性を高める。
総合データ障害訓練のリスクに対処するため, 頑健なパーソナライゼーションを確保するために, 疎結合モデルを導入する。
論文 参考訳(メタデータ) (2025-03-01T09:00:33Z) - FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling [12.067872131025231]
フェデレートラーニング(FL)は、データ共有なしで分散クライアント間で協調的なモデルトレーニングを可能にする。
現在の手法では、疎密性を維持しながらスパースモデルトポロジを周期的に調整することで、動的プルーニングを用いて効率を向上させる。
我々は,堅牢なスパースモデルの開発を目的とした新しいフレームワークであるThompson Sampling (FedRTS) によるフェデレートロバスト刈取を提案する。
論文 参考訳(メタデータ) (2025-01-31T13:26:22Z) - Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳(メタデータ) (2025-01-17T04:00:50Z) - Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation [1.519321208145928]
Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。
クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。
本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-19T16:22:37Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models [40.83058938096914]
FedLMGは局所モデル誘導拡散モデルを用いた単発フェデレーション学習法である。
クライアントはファンデーションモデルにアクセスする必要はなく、ローカルモデルのトレーニングとアップロードのみを行う。
論文 参考訳(メタデータ) (2023-11-15T11:11:25Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳(メタデータ) (2023-08-28T18:48:34Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。