論文の概要: Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2507.10348v2
• Date: Wed, 20 Aug 2025 06:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 14:45:44.760183
• Title: Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning
• Title（参考訳）: 特徴蒸留はモデル不均一なフェデレーション学習のためのより良い選択である
• Authors: Yichen Li, Xiuying Wang, Wenchao Xu, Haozhao Wang, Yining Qi, Jiahua Dong, Ruixuan Li,
• Abstract要約: モデルヘテロジニアス・フェデレート・ラーニング(Hetero-FL)は、異種モデルからの知識を収集し、ローカルにプライベートデータを保持する能力に注目が集まっている。 クライアントからの知識を集約するため,グローバルアグリゲーションの後に,広範に利用され有効な技術であるアンサンブル蒸留が,グローバルモデルの性能を高めるためにしばしば用いられる。 そこで本研究では,新たな機能ベース・アンサンブル型知識蒸留パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 27.79621720479615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-Heterogeneous Federated Learning (Hetero-FL) has attracted growing attention for its ability to aggregate knowledge from heterogeneous models while keeping private data locally. To better aggregate knowledge from clients, ensemble distillation, as a widely used and effective technique, is often employed after global aggregation to enhance the performance of the global model. However, simply combining Hetero-FL and ensemble distillation does not always yield promising results and can make the training process unstable. The reason is that existing methods primarily focus on logit distillation, which, while being model-agnostic with softmax predictions, fails to compensate for the knowledge bias arising from heterogeneous models. To tackle this challenge, we propose a stable and efficient Feature Distillation for model-heterogeneous Federated learning, dubbed FedFD, that can incorporate aligned feature information via orthogonal projection to integrate knowledge from heterogeneous models better. Specifically, a new feature-based ensemble federated knowledge distillation paradigm is proposed. The global model on the server needs to maintain a projection layer for each client-side model architecture to align the features separately. Orthogonal techniques are employed to re-parameterize the projection layer to mitigate knowledge bias from heterogeneous models and thus maximize the distilled knowledge. Extensive experiments show that FedFD achieves superior performance compared to state-of-the-art methods.
• Abstract（参考訳）: モデル・ヘテロジニアス・フェデレート・ラーニング (Hetero-FL) は、異種モデルからの知識を収集し、ローカルにプライベートデータを保持する能力に注目が集まっている。 クライアントからの知識を集約するため,グローバルアグリゲーションの後に,広範に利用され有効な技術であるアンサンブル蒸留が,グローバルモデルの性能を高めるためにしばしば用いられる。 しかし, ヘテロFLとアンサンブル蒸留を組み合わせるだけでは必ずしも有望な結果が得られず, トレーニング過程を不安定にすることができる。 理由は、既存の手法が主にロジット蒸留に焦点を合わせており、それはソフトマックス予測とモデルに依存しないが、異種モデルから生じる知識バイアスを補うことができないからである。 この課題に対処するために、FedFDと呼ばれるモデル不均一なフェデレーション学習のための安定的で効率的な特徴蒸留法を提案する。 具体的には,新しい特徴に基づくアンサンブル型知識蒸留パラダイムを提案する。 サーバ上のグローバルモデルは、各クライアントサイドモデルアーキテクチャのプロジェクション層を維持して、機能を別々に整列させる必要があります。 直交法を用いて射影層を再パラメータ化し、異種モデルからの知識バイアスを緩和し、蒸留した知識を最大化する。 大規模な実験により、FedFDは最先端の手法に比べて優れた性能を発揮することが示された。

関連論文リスト

• CLIP Meets Diffusion: A Synergistic Approach to Anomaly Detection [54.85000884785013]
  異常検出は、異常の定義の曖昧さ、異常型の多様性、トレーニングデータの不足による複雑な問題である。 識別的基盤モデルと生成的基礎モデルの両方を活用するCLIPfusionを提案する。 本手法は, 異常検出の多面的課題に対処する上で, マルチモーダル・マルチモデル融合の有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2025-06-13T13:30:15Z)
• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• FedSKD: Aggregation-free Model-heterogeneous Federated Learning using Multi-dimensional Similarity Knowledge Distillation [7.944298319589845]
  フェデレートラーニング(FL)は、直接データを共有することなく、プライバシー保護のための協調モデルトレーニングを可能にする。 MHFL(Model-heterogeneous FL)は、クライアントが計算資源やアプリケーション固有のニーズに合わせて、不均一なアーキテクチャでパーソナライズされたモデルを訓練することを可能にする。 ピアツーピア(P2P)FLはサーバ依存を除去するが、モデルドリフトと知識の希釈に悩まされ、不均一な設定での有効性が制限される。 ラウンドロビンモデル循環による直接知識交換を容易にする新しいMHFLフレームワークであるFedSKDを提案する。
  論文  参考訳（メタデータ） (2025-03-23T05:33:10Z)
• pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
  教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
  論文  参考訳（メタデータ） (2024-04-27T09:52:59Z)
• Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
  本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。 また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。 提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
  論文  参考訳（メタデータ） (2024-01-29T16:01:38Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation [12.409497615805797]
  フェデレートラーニング(FL)は、プライバシ保護の分散機械学習パラダイムとして認識されている。 FLは、AIoTデバイスのモデル不均一性により、モデル不正確性と緩やかな収束に悩まされる。 我々は、少数の公開データを効率よくスケーラブルな知識に利用する、HierarchyFLという効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T03:32:10Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。