論文の概要: SPADE-KD: Peer-to-Peer Collaborative Learning under Heterogeneous Settings

• arxiv url: http://arxiv.org/abs/2610.24013v1
• Date: Thu, 15 Oct 2026 23:17:37 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:47:54.109102
• Title: SPADE-KD: Peer-to-Peer Collaborative Learning under Heterogeneous Settings
• Title（参考訳）: SPADE-KD:不均一な環境下でのピアツーピア協調学習
• Abstract要約: ピアツーピア協調学習のための完全分散モデル蒸留フレームワークSPADE-KDを提案する。 また,SPADE-KDは低い損失とより高速な収束を伴い,非分散蒸留よりも優れた性能を示すことを示した。
• 参考スコア（独自算出の注目度）: 2.5137859989323537
• License:
• Abstract: Peer-to-peer collaborative learning is an emerging distributed deep learning paradigm that eliminates the need for a central aggregator and disseminator, avoiding the single-point-of-failure and bottleneck issues they can bring. Many such approaches use parameter averaging, requiring clients to have homogeneous model architectures, whereas others use knowledge distillation as an alternative while leaning on shared public data or centralized control infrastructure. Many of these approaches also make a one-size-fits-all assumption, i.e., jointly training a single, globally optimal solution for all clients, when in reality, clients' underlying data distributions might differ such that a globally optimal solution may not be locally optimal for all clients. To enable collaborative learning in environments with both model architecture and data distribution heterogeneity, we present SPADE-KD -- a fully decentralized model distillation framework that optimizes collaboration towards personalized rather than global performance. SPADE-KD leverages two mechanisms -- adaptive distillation and utility-driven peer selection. Adaptive distillation modulates the strength of each incoming model transfer by the performance advantage of the incoming model compared to the native model measured by their task losses, such that a client will distill more aggressively from incoming models that outperform it on its own local data. Utility-driven peer selection uses the loss-informed utility derived from adaptive distillation to rank prospective partners, focusing on exchanges that measurably improve the local model while suppressing low-utility transfers. Using federated classification tasks, we demonstrate that SPADE-KD consistent outperforms naive decentralized distillation with lower loss and faster convergence and that its individual components are more effective together than independently.
• Abstract（参考訳）: Peer-to-Peerコラボレーティブラーニング(Peer-to-Peerコラボレーティブラーニング)は,集中的なアグリゲータとディセミネータの必要性を排除し,単一障害点とボトルネックの問題を回避する,新たな分散ディープラーニングパラダイムである。 このようなアプローチの多くはパラメータ平均化を使用しており、クライアントは均質なモデルアーキテクチャを必要とする。 これらのアプローチの多くは、一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様一様 モデルアーキテクチャとデータ分散の不均一性の両方で、協調学習を可能にするため、グローバルパフォーマンスよりもパーソナライズされたコラボレーションを最適化する、完全に分散化されたモデル蒸留フレームワークSPADE-KDを提案する。 SPADE-KDはアダプティブ蒸留とユーティリティ駆動のピアセレクションという2つのメカニズムを利用する。 適応蒸留(Adaptive distillation)は、各モデル転送の強度を、タスク損失によって測定されたネイティブモデルと比較して、入力モデル転送の性能上の利点によって変調する。 ユーティリティ駆動のピアセレクションは、適応蒸留から派生した損失インフォームドユーティリティを使用して、低ユーティリティ転送を抑えながら局所モデルを改善する取引所に焦点を当て、予測パートナーをランク付けする。 本研究では,SPADE-KDが分散蒸留を低損失で高速に行うことにより,SPADE-KDが一貫した性能を発揮することを示す。

関連論文リスト

• Similarity-Aware Personalized Federated Learning in Heterogeneous Environments [10.354095147014043]
  フェデレートラーニング(Federated Learning)は、分散クライアントがデータのプライバシを保持しながら、協力的にモデルをトレーニングすることを可能にする。 クライアント間の分散ミスマッチは、多くの場合、グローバルな一般化が貧弱で、ローカルクライアントレベルのパフォーマンスが低下する。 SPE-FL(Similarity-Aware Personalized Federated Learning)は、各クライアントのモデルをグローバルモデルと類似度重み付きピア平均モデルの両方に固定する新しいパーソナライズフレームワークである。
  論文  参考訳（メタデータ） (2026-09-02T07:48:04Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors [21.931436901703634]
  従来のフェデレートラーニング(FL)には、ユーザデータのプライバシを維持しながら、グローバルモデルの協調的なトレーニングが含まれる。 そのブランチの1つ、分散FLは、クライアントが別々のローカルモデルを所有し、最適化できるサーバーレスネットワークである。 本稿では,DeSAと呼ばれる合成アンカーを導入し,新しい分散FL手法を提案する。
  論文  参考訳（メタデータ） (2024-05-19T11:36:45Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。