論文の概要: HARMONY: Bridging the Personalization-Generalization Gap by Mitigating Representation Skew in Heterogeneous Split Federated Learning
- arxiv url: http://arxiv.org/abs/2605.07211v1
- Date: Fri, 08 May 2026 03:58:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.78946
- Title: HARMONY: Bridging the Personalization-Generalization Gap by Mitigating Representation Skew in Heterogeneous Split Federated Learning
- Title(参考訳): HARMONY:不均一なフェデレーション学習における表現スキューの緩和によるパーソナライズ-一般化ギャップのブリッジ
- Authors: Jiseok Youn, You Rim Choi, Goodsol Lee, Sangtae Ha, Hyung-Sin Kim, Saewoong Bahk,
- Abstract要約: ハイブリッドスプリット・フェデレーション・ラーニング(Hybrid SFL)は、クライアントサイドのフロントエンドを、フォールバック推論のためのサーバサイドバックエンドと結合する。
異種クライアントアーキテクチャをサポートする最初のハイブリッドSFLフレームワークであるHARMONYを提案する。
- 参考スコア(独自算出の注目度): 11.096849979608365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile devices face diverse resource constraints and non-IID data class distributions, requiring fast on-device inference for local in-distribution (ID) classes and on-demand remote support for client-specific out-of-distribution (OOD) classes. Hybrid split federated learning (Hybrid SFL) couples personalized client-side front ends (supporting early exit) with a generalized server-side backend for fallback inference, balancing accuracy and cost. However, under client architectural heterogeneity, the existing hybrid SFL suffers from representation skew, where features from customized extractors fail to align in the shared space, leading to a sharp degradation in the server model responsible for OOD prediction. We propose HARMONY, the first hybrid SFL framework to support heterogeneous client architectures. HARMONY modifies meta-learning to simulate diverse extractors across parameters and architectures, and to learn to personalize. To mitigate representation skew, HARMONY conducts server-side contrastive learning to align extracted features, neither sacrificing clients' personalization nor sharing raw labels. Compared to the state of the art across multiple datasets and model families, HARMONY improves test accuracy by up to 43.0%/28.3% without/with OOD, respectively, while maintaining acceptable latency.
- Abstract(参考訳): モバイルデバイスは多様なリソース制約と非IIDデータクラス分布に直面しており、ローカル・イン・ディストリビューション(ID)クラスに対する高速なオンデバイス推論と、クライアント固有のアウト・オブ・ディストリビューション(OOD)クラスに対するオンデマンドリモートサポートを必要としている。
ハイブリッドスプリット・フェデレーション・ラーニング(Hybrid SFL)は、クライアントサイドのフロントエンド(アーリーエグジットをサポートする)を、フォールバック推論のための一般的なサーバサイドバックエンドと結合し、正確性とコストのバランスをとる。
しかし、クライアントアーキテクチャの不均一性の下では、既存のハイブリッドSFLは表現スキューに悩まされ、カスタマイズされた抽出器の特徴が共有空間に整合しないため、OOD予測に責任を負うサーバモデルが大幅に劣化する。
異種クライアントアーキテクチャをサポートする最初のハイブリッドSFLフレームワークであるHARMONYを提案する。
HARMONYはメタラーニングを改良し、パラメータやアーキテクチャにまたがる多様な抽出器をシミュレートし、パーソナライズを学ぶ。
HARMONYはサーバ側のコントラスト学習を行い、クライアントのパーソナライゼーションや生のラベルの共有を犠牲にすることなく、抽出した特徴を調整する。
複数のデータセットとモデルファミリの最先端技術と比較すると、HARMONYはOODを使用せずにテストの精度を最大43.0%/28.3%向上し、許容できるレイテンシを維持している。
関連論文リスト
- Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-05-05T07:02:50Z) - Resource-Adaptive Federated Text Generation with Differential Privacy [3.7397653111851814]
差分的プライベート(DP)合成データセットは、グローバルな分布を近似し、タスク間で再利用することができる。
クライアントの能力に適応するフレキシブルな参加フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-07T04:11:58Z) - Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。
実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。
FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文 参考訳(メタデータ) (2026-02-01T05:54:59Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-01-31T03:11:51Z) - ALIGN-FL: Architecture-independent Learning through Invariant Generative component sharing in Federated Learning [4.073149631618324]
本稿では分散学習の新たなアプローチであるALIGN-FLを提案する。
我々のフレームワークは、完全なモデルパラメータを交換する代わりに、クライアント間で生成機能のみを転送することで、プライバシ保護学習を可能にします。
論文 参考訳(メタデータ) (2025-12-15T13:35:27Z) - Towards Instance-wise Personalized Federated Learning via Semi-Implicit Bayesian Prompt Tuning [17.4339566214049]
pFedBayesPTは、視覚的なプロンプトチューニングに基づく、きめ細かいインスタンスワイズpFLフレームワークである。
半単純変分推論フレームワークを用いて変分学習目標を導出する。
ベンチマークデータセットの実験は、pFedBayesPTが既存のpFLメソッドを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2025-08-27T06:59:10Z) - Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-24T13:30:03Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。
マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。
VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文 参考訳(メタデータ) (2022-07-20T23:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。