論文の概要: Federated Distillation on Edge Devices: Efficient Client-Side Filtering for Non-IID Data

• arxiv url: http://arxiv.org/abs/2508.14769v1
• Date: Wed, 20 Aug 2025 15:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.496878
• Title: Federated Distillation on Edge Devices: Efficient Client-Side Filtering for Non-IID Data
• Title（参考訳）: エッジデバイスへのフェデレート蒸留:非IIDデータに対する効率的なクライアント側フィルタリング
• Authors: Ahmed Mujtaba, Gleb Radchenko, Radu Prodan, Marc Masana,
• Abstract要約: フェデレーテッド・ラーニングは、有望なコラボレーティブ・機械学習のアプローチとして登場した。 本稿では,クライアント側密度比推定の複雑さを低減し,資源効率の高いEdgeFD手法を提案する。 我々は、知識蒸留のためにサーバー上で事前訓練された教師モデルを必要とすることなく、強力な非IID、弱い非IID、およびクライアント上のIDデータ分布を含む様々な実践シナリオでEdgeFDを評価する。
• 参考スコア（独自算出の注目度）: 4.758807762853925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated distillation has emerged as a promising collaborative machine learning approach, offering enhanced privacy protection and reduced communication compared to traditional federated learning by exchanging model outputs (soft logits) rather than full model parameters. However, existing methods employ complex selective knowledge-sharing strategies that require clients to identify in-distribution proxy data through computationally expensive statistical density ratio estimators. Additionally, server-side filtering of ambiguous knowledge introduces latency to the process. To address these challenges, we propose a robust, resource-efficient EdgeFD method that reduces the complexity of the client-side density ratio estimation and removes the need for server-side filtering. EdgeFD introduces an efficient KMeans-based density ratio estimator for effectively filtering both in-distribution and out-of-distribution proxy data on clients, significantly improving the quality of knowledge sharing. We evaluate EdgeFD across diverse practical scenarios, including strong non-IID, weak non-IID, and IID data distributions on clients, without requiring a pre-trained teacher model on the server for knowledge distillation. Experimental results demonstrate that EdgeFD outperforms state-of-the-art methods, consistently achieving accuracy levels close to IID scenarios even under heterogeneous and challenging conditions. The significantly reduced computational overhead of the KMeans-based estimator is suitable for deployment on resource-constrained edge devices, thereby enhancing the scalability and real-world applicability of federated distillation. The code is available online for reproducibility.
• Abstract（参考訳）: フェデレート蒸留は、完全なモデルパラメータではなくモデル出力(ソフトロジット)を交換することによって、従来のフェデレーション学習と比較して、プライバシー保護とコミュニケーションの削減を提供する、有望なコラボレーティブ機械学習アプローチとして登場した。 しかし,既存の手法では,計算コストのかかる統計密度比推定器を用いて,クライアントが分散プロキシデータを識別する必要がある複雑な知識共有戦略を採用している。 さらに、曖昧な知識のサーバ側のフィルタリングは、プロセスに遅延をもたらす。 これらの課題に対処するため,クライアント側密度比推定の複雑さを低減し,サーバ側フィルタリングの必要性を解消する,堅牢で資源効率の良いEdgeFD手法を提案する。 EdgeFDはKMeansベースの効率的な密度比推定器を導入し、クライアント上での分配と配布外プロキシデータの両方を効果的にフィルタリングし、知識共有の質を大幅に向上させる。 我々は、知識蒸留のためにサーバー上で事前訓練された教師モデルを必要とすることなく、強力な非IID、弱い非IID、およびクライアント上のIDデータ分布を含む様々な実践シナリオでEdgeFDを評価する。 実験の結果、EdgeFDは最先端の手法よりも優れており、不均一で挑戦的な条件下であっても、IDDシナリオに近い精度レベルを一貫して達成していることがわかった。 KMeansベースの推定器の計算オーバーヘッドは、資源制約されたエッジデバイスへの展開に適したため、フェデレート蒸留のスケーラビリティと実世界の適用性が向上する。 コードはオンラインで再現可能である。

関連論文リスト

• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• Secure Federated Data Distillation [2.5311562666866494]
  プライバシを保ちながら蒸留プロセスの分散化を図るためのセキュアフェデレートデータ蒸留(SFDD)フレームワークを提案する。 本研究では, クライアントが原データを共有することなく蒸留プロセスに寄与する分散環境に適応し, 勾配マッチングに基づく蒸留手法を活用する。 LDPO-RLDと呼ばれる最適化されたローカル微分プライバシーアプローチを作成し、推論攻撃に耐性を持たせる。
  論文  参考訳（メタデータ） (2025-02-19T13:54:44Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation [20.24005399782197]
  フェデレートラーニング(Federated Learning)は、プライバシを保存する機械学習パラダイムである。 最近のプロキシデータフリーなFDアプローチは、追加の公開データの必要性を排除できるが、局所的な知識の相違に悩まされている。 分散知識合同(FedDKC)に基づくプロキシフリーFDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-14T15:39:22Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。