論文の概要: FedSKD: Aggregation-free Model-heterogeneous Federated Learning using Multi-dimensional Similarity Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2503.18981v1
• Date: Sun, 23 Mar 2025 05:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:35.736222
• Title: FedSKD: Aggregation-free Model-heterogeneous Federated Learning using Multi-dimensional Similarity Knowledge Distillation
• Title（参考訳）: FedSKD:多次元類似知識蒸留を用いたアグリゲーションフリーモデル不均一フェデレーション学習
• Authors: Ziqiao Weng, Weidong Cai, Bo Zhou,
• Abstract要約: フェデレートラーニング(FL)は、直接データを共有することなく、プライバシー保護のための協調モデルトレーニングを可能にする。 MHFL(Model-heterogeneous FL)は、クライアントが計算資源やアプリケーション固有のニーズに合わせて、不均一なアーキテクチャでパーソナライズされたモデルを訓練することを可能にする。 ピアツーピア(P2P)FLはサーバ依存を除去するが、モデルドリフトと知識の希釈に悩まされ、不均一な設定での有効性が制限される。 ラウンドロビンモデル循環による直接知識交換を容易にする新しいMHFLフレームワークであるFedSKDを提案する。
• 参考スコア（独自算出の注目度）: 7.944298319589845
• License:
• Abstract: Federated learning (FL) enables privacy-preserving collaborative model training without direct data sharing. Model-heterogeneous FL (MHFL) extends this paradigm by allowing clients to train personalized models with heterogeneous architectures tailored to their computational resources and application-specific needs. However, existing MHFL methods predominantly rely on centralized aggregation, which introduces scalability and efficiency bottlenecks, or impose restrictions requiring partially identical model architectures across clients. While peer-to-peer (P2P) FL removes server dependence, it suffers from model drift and knowledge dilution, limiting its effectiveness in heterogeneous settings. To address these challenges, we propose FedSKD, a novel MHFL framework that facilitates direct knowledge exchange through round-robin model circulation, eliminating the need for centralized aggregation while allowing fully heterogeneous model architectures across clients. FedSKD's key innovation lies in multi-dimensional similarity knowledge distillation, which enables bidirectional cross-client knowledge transfer at batch, pixel/voxel, and region levels for heterogeneous models in FL. This approach mitigates catastrophic forgetting and model drift through progressive reinforcement and distribution alignment while preserving model heterogeneity. Extensive evaluations on fMRI-based autism spectrum disorder diagnosis and skin lesion classification demonstrate that FedSKD outperforms state-of-the-art heterogeneous and homogeneous FL baselines, achieving superior personalization (client-specific accuracy) and generalization (cross-institutional adaptability). These findings underscore FedSKD's potential as a scalable and robust solution for real-world medical federated learning applications.
• Abstract（参考訳）: フェデレートラーニング(FL)は、直接データを共有することなく、プライバシー保護のための協調モデルトレーニングを可能にする。 モデルヘテロジニアスFL(MHFL)は、クライアントが計算資源やアプリケーション固有のニーズに合わせて不均一なアーキテクチャでパーソナライズされたモデルを訓練できるようにすることにより、このパラダイムを拡張している。 しかし、既存のMHFLメソッドは主に、スケーラビリティと効率のボトルネックをもたらす集中集約に依存し、クライアント間で部分的に同じモデルアーキテクチャを必要とする制限を課している。 ピアツーピア(P2P)FLはサーバ依存を除去するが、モデルドリフトと知識の希釈に悩まされ、不均一な設定での有効性が制限される。 これらの課題に対処するため、我々はラウンドロビンモデル循環を通じて直接知識交換を容易にする新しいMHFLフレームワークであるFedSKDを提案する。 FedSKDの重要な革新は多次元類似性知識蒸留であり、これはバッチ、ピクセル/ボクセル、FLにおける異種モデルの領域レベルにおける双方向のクロスクライアントな知識伝達を可能にする。 この手法は、モデルの不均一性を保ちながら、進行的な強化と分布アライメントを通して破滅的な忘れとモデルドリフトを緩和する。 fMRIによる自閉症スペクトラム障害診断と皮膚病変分類の広範囲な評価は、FedSKDが最先端の異種および同種FLベースラインより優れ、優れたパーソナライゼーション(クライアント固有精度)と一般化(クロスインスティカル適応性)を達成していることを示している。 これらの知見はFedSKDが現実世界の医療連合学習アプリケーションに対して、スケーラブルで堅牢なソリューションとしての可能性を強調している。

関連論文リスト

• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
  フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。 我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。 提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
  論文  参考訳（メタデータ） (2024-10-17T22:47:19Z)
• FedTSA: A Cluster-based Two-Stage Aggregation Method for Model-heterogeneous Federated Learning [10.254813698006103]
  FedTSAは、フェデレートラーニング(FL)におけるシステム不均一性に適したクラスタベースの2段階アグリゲーション手法である 我々は,FedTSAがベースラインを上回り,モデル性能に影響を及ぼす様々な要因を探索することを示す。
  論文  参考訳（メタデータ） (2024-07-06T14:59:55Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Unifying and Personalizing Weakly-supervised Federated Medical Image Segmentation via Adaptive Representation and Aggregation [1.121358474059223]
  フェデレートラーニング(FL)は、データプライバシとセキュリティを損なうことなく、複数のサイトが協力して強力なディープモデルをトレーニングすることを可能にする。 微粒な監督を施した弱く監督されたセグメンテーションは、アノテーションコストを下げる大きな可能性を秘めているため、ますます注目されている。 医用画像セグメンテーションのための新しいFLフレームワークであるFedICRAを提案する。
  論文  参考訳（メタデータ） (2023-04-12T06:32:08Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。