論文の概要: FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2607.26801v1
- Date: Wed, 29 Jul 2026 11:39:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.655609
- Title: FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning
- Title(参考訳): FedTopo:モデル不均一なフェデレーション学習のための関係レベルトポロジ共有
- Authors: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang,
- Abstract要約: フェデレートラーニング(FL)は、生データを集中化せずに、分散データサイロ上で協調的な学習を可能にする。
既存のパラダイムは、この知識をモデルパラメータ、蒸留予測、クラスプロトタイプとして共有する。
我々は,グローバル知識をクラス関係トポロジとして符号化する関係レベルフレームワークであるFedTopoを提案する。
- 参考スコア(独自算出の注目度): 32.256904591785094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) enables collaborative learning over decentralized data silos without centralizing raw data. However, heterogeneous local architectures often induce non-aligned representation spaces, making it difficult to transfer global knowledge across silos. Existing paradigms share this knowledge as model parameters, distilled predictions, or class prototypes, yet all encode it in an absolute space that must be aligned across clients. Heterogeneous backbones break this alignment, so the shared knowledge becomes unreliable and misleads local training. We propose FedTopo, a relation-level framework that encodes global knowledge as class relation topology, capturing how classes relate within each client rather than where they lie in feature space. Each client builds its relation topology from local prototypes and uploads it with class statistics. The server then aggregates these relations in a reliability-aware manner that down-weights weakly supported ones, and broadcasts the global topology to clients. The global topology guides local training by emphasizing topology-similar negative classes. Experiments on three datasets under eight heterogeneous backbones show that FedTopo consistently outperforms parameter-, distillation-, and prototype-sharing baselines, with low communication and no inference overhead. Our code is available at https://github.com/Zhaoyang-Ma/FedTopo.
- Abstract(参考訳): フェデレートラーニング(FL)は、生データを集中化せずに、分散データサイロ上で協調的な学習を可能にする。
しかし、ヘテロジニアスな局所アーキテクチャはしばしば非整列表現空間を誘導し、サイロ全体にわたってグローバルな知識を伝達することは困難である。
既存のパラダイムは、この知識をモデルパラメータ、蒸留された予測、クラスプロトタイプとして共有しますが、すべてクライアント間で整列しなければならない絶対的な空間にエンコードします。
不均一なバックボーンがこのアライメントを破り、共有された知識は信頼できなくなり、地元の訓練を誤解させる。
我々は,グローバルな知識をクラス関係トポロジとしてエンコードする関係レベルフレームワークであるFedTopoを提案する。
各クライアントは、ローカルプロトタイプから関係トポロジを構築し、クラス統計をアップロードする。
サーバは、これらの関係を信頼性に配慮して集約し、ダウンウェイトがサポートしている関係を弱め、グローバルなトポロジをクライアントにブロードキャストする。
グローバルトポロジは、トポロジと類似の負のクラスを強調することによって、局所的なトレーニングを導く。
8つのヘテロジニアスなバックボーンに基づく3つのデータセットの実験では、FedTopoはパラメータ、蒸留、およびプロトタイプ共有ベースラインを一貫して上回り、通信が低く、推論オーバーヘッドがない。
私たちのコードはhttps://github.com/Zhaoyang-Ma/FedTopo.comで公開されています。
関連論文リスト
- FedSKC: Federated Learning with Non-IID Data via Structural Knowledge Collaboration [43.25824181502647]
FedSKCのキーとなるアイデアは、相互依存関係データ分散からドメインの好みを抽出し、転送することである。
FedSKCは、コントラスト学習、グローバルな不一致集約、グローバルな期間レビューの3つのコンポーネントで構成されている。
論文 参考訳(メタデータ) (2025-05-25T05:24:49Z) - Federated Class-Incremental Learning: A Hybrid Approach Using Latent Exemplars and Data-Free Techniques to Address Local and Global Forgetting [10.061328213032088]
FCIL(Federated Class-Incremental Learning)とは、動的に変化するクライアントの数が、継続的に増加するタスク数を共同で学習するシナリオを指す。
我々は,局所的およびグローバルな忘れを定式化するFCILの数学的枠組みを開発する。
局所的, グローバルな忘れを解消するために, 潜在例とデータフリー手法を利用したHybrid Rehearsalという手法を提案する。
論文 参考訳(メタデータ) (2025-01-26T01:08:01Z) - Federated Learning with Bilateral Curation for Partially Class-Disjoint Data [47.55180390473258]
部分的なクラス分離データ(PCDD)は、一般的なが未探索のデータ生成であり、フェデレートされたアルゴリズムの性能に深刻な挑戦をする。
我々はFedGELAと呼ばれる新しい手法を提案し、ETFは局所的に個人分布に適応しながら、単純なETFとしてグローバルに固定されている。
我々は、FedGELAが有望なパフォーマンスを達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
論文 参考訳(メタデータ) (2024-05-29T10:34:44Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Fusion of Global and Local Knowledge for Personalized Federated Learning [75.20751492913892]
本稿では,低ランクおよびスパース分解を伴うパーソナライズされたモデルについて検討する。
我々はtextbfSparse と textbfRank を混合した2段階学習アルゴリズム textbfFederated Learning を提案する。
適切な仮定の下では、FedSLRによって訓練されたGKRが、少なくとも準線形に正規化問題の定常点に収束できることが示される。
論文 参考訳(メタデータ) (2023-02-21T23:09:45Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳(メタデータ) (2022-05-19T03:32:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。