論文の概要: From Coordinate Matching to Structural Alignment: Rethinking Prototype Alignment in Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2605.05959v1
- Date: Thu, 07 May 2026 10:06:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.684563
- Title: From Coordinate Matching to Structural Alignment: Rethinking Prototype Alignment in Heterogeneous Federated Learning
- Title（参考訳）: コーディネートマッチングから構造的アライメントへ:不均一なフェデレーション学習におけるプロトタイプアライメントを再考する
- Authors: Xinghao Wu, Jianwei Niu, Guogang Zhu, Xuefeng Liu, Shaojie Tang, Jiayuan Zhang,
- Abstract要約: 不均一連合学習(HtFL)は、データ分散とモデルアーキテクチャの両方で異なるクライアント間の協調を可能にすることを目的としている。
既存のプロトタイプベースのHtFLメソッドは、通常、MSEベースのもしくはコサインベースのアライメント機構を再利用する。
我々は,アライメントの目的を絶対座標からクラス間関係構造へシフトさせるFedSAFを提案する。
- 参考スコア（独自算出の注目度）: 23.704003173950905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heterogeneous federated learning (HtFL) aims to enable collaboration among clients that differ in both data distributions and model architectures. Prototype-based methods, which communicate class-level feature centers (prototypes) instead of full model parameters, have recently shown strong potential for HtFL. Existing prototype-based HtFL methods typically reuse the MSE-based or cosine-based alignment mechanism developed for homogeneous FL when aligning client-specific representations with global prototypes. These approaches are essentially coordinate alignment, where representations of clients are forced to match the global prototypes in the embedding space in an element-wise manner. Such alignment implicitly assumes that all clients should map their representations into the feature subspace defined by the global prototypes. This assumption is reasonable in homogeneous FL, where all clients share the same feature extractor. However, it becomes problematic in HtFL, since heterogeneous feature extractors naturally induce client-specific feature subspaces, and forcing all clients to optimize within a single global subspace unnecessarily suppresses their learning capacity. We observe that coordinate alignment implicitly couples two distinct objectives: aligning inter-class semantic structure, which is directly beneficial for classification, and enforcing a shared feature basis, which is unnecessary and even harmful under model heterogeneity. Building on this insight, we design FedSAF, which shifts the alignment objective from absolute coordinates to inter-class relational structure. We demonstrate that structural alignment consistently outperforms coordinate alignment in heterogeneous settings. Experiments on multiple benchmarks show that our structural alignment outperforms state-of-the-art prototype-based HtFL methods by up to 3.52\%.
- Abstract（参考訳）: 不均一連合学習(HtFL)は、データ分散とモデルアーキテクチャの両方で異なるクライアント間の協調を可能にすることを目的としている。
モデルパラメータの代わりにクラスレベルの特徴中心(プロトタイプ)を伝達するプロトタイプベースの手法は,最近HtFLの強力な可能性を示している。
既存のプロトタイプベースのHtFL手法は、クライアント固有の表現をグローバルプロトタイプと整合させる際に、MSEベースのもしくはコサインベースのアライメント機構を再利用するのが一般的である。
これらのアプローチは基本的にコーディネートアライメントであり、クライアントの表現は埋め込み空間におけるグローバルなプロトタイプと要素的に一致せざるを得ない。
このようなアライメントは、すべてのクライアントがその表現をグローバルプロトタイプによって定義された機能部分空間にマッピングすべきであると暗黙的に仮定する。
この仮定は、すべてのクライアントが同じ特徴抽出器を共有する同質FLにおいて妥当である。
しかし、HtFLでは、不均一な特徴抽出器が自然にクライアント固有の特徴部分空間を誘導し、すべてのクライアントに1つのグローバルな部分空間内での最適化を強要することで、学習能力が不必要に抑制されるため、問題となる。
コーディネート・アライメントは,クラス間のセマンティック・ストラクチャのアライメントと,モデルの不均一性の下では不必要かつ有害な共有特徴ベース,という2つの異なる目的を暗黙的に組み合わせている。
この知見に基づいてFedSAFを設計し、アライメントの目的を絶対座標からクラス間関係構造へシフトさせる。
構造的アライメントが不均一な設定における座標アライメントを一貫して上回ることを示す。
複数のベンチマーク実験により、我々の構造アライメントは、最先端のプロトタイプベースのHtFL法よりも最大3.52倍高い性能を示した。
関連論文リスト
- Beyond Rigid Alignment: Graph Federated Learning via Dual Manifold Calibration [35.251447232161404]
グラフフェデレーション学習(GFL)は、プライバシを保持しながら、分散サブグラフ間の協調的な表現学習を可能にする。
統一多様体の観点から意味的不均一性に取り組む新しいパラダイムであるFederated Graph Manifold (FedGMC)を提案する。
我々は,FedGMCがグローバルな共通性と局所的なパーソナライゼーションのバランスを効果的に保ち,最先端のベースライン法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2026-05-07T13:35:55Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-05T07:02:50Z) - Empowering Heterogeneous Graph Foundation Models via Decoupled Relation Alignment [20.128308877213044]
Decoupled Relation Subspace Alignment (DRSA)は、新しいプラグアンドプレイ関係駆動フレームワークである。
特徴的意味論を関係構造から切り離すことによってパラダイムを根本的にシフトさせる。
ユニバーサルプリプロセッシングモジュールとしてシームレスに統合することができる。
論文 参考訳（メタデータ） (2026-05-01T15:31:36Z) - H2Tune: Federated Foundation Model Fine-Tuning with Hybrid Heterogeneity [25.639893635287187]
本稿では,ハイブリッドなヘテロジニティを持つファウンデーションモデルH2Tuneを提案する。
フレームワークは3つの主要なコンポーネントから構成される: (i) 階層化された三重行列分解(sparsified triple matrix decomposition) クライアントリソースに基づく適応的なスパーシフィケーション(adaptive sparsification) 、 (ii) 異種層構造と表現能力を扱うための関係誘導行列層アライメント、 (iii) タスク知識のアンタングルメント機構の交替による局所モデルパラメータの共有および特定知識の分離。
論文 参考訳（メタデータ） (2025-07-30T12:53:18Z) - Cross-architecture universal feature coding via distribution alignment [88.73189953617594]
クロスアーキテクチャユニバーサル特徴符号化(CAUFC)という新しい研究課題を導入する。
まず,CNN と Transformer が一貫した2次元トークン形式に特徴付けるフォーマットアライメント手法を設計し,また,トランケーションと正規化によって統計分布を調和させる特徴値アライメント手法を提案する。
本稿では,CAUFCを最初に研究する試みとして,画像分類作業における手法の評価を行い,本手法がアーキテクチャ固有のベースラインに比べて高いレート精度のトレードオフを実現することを示す。
論文 参考訳（メタデータ） (2025-06-15T06:14:02Z) - A Randomized Zeroth-Order Hierarchical Framework for Heterogeneous Federated Learning [3.797867929356259]
階層的最適化問題として不均一FLを定式化した新しいフレームワークを提案する。
この新しいフレームワークは、双方向の定式化を通じて、ローカルとグローバルの両方のトレーニングプロセスをキャプチャする。
画像分類タスクに本手法を実装し,異なる異種条件下での他の手法との比較を行った。
論文 参考訳（メタデータ） (2025-04-02T15:44:59Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。