論文の概要: Enabling Weak Client Participation via On-device Knowledge Distillation in Heterogenous Federated Learning

• arxiv url: http://arxiv.org/abs/2503.11151v1
• Date: Fri, 14 Mar 2025 07:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:26.082036
• Title: Enabling Weak Client Participation via On-device Knowledge Distillation in Heterogenous Federated Learning
• Title（参考訳）: 異種フェデレーション学習におけるデバイス上での知識蒸留による弱クライアント参加の実現
• Authors: Jihyun Lim, Junhyuk Jo, Tuo Zhang, Salman Avestimehr, Sunwoo Lee,
• Abstract要約: デバイス上でのKDに基づくヘテロジニアスFL法を提案する。 我々のアプローチは、ラベル付きローカルデータから学習するために小さな補助モデルを活用する。 強力なシステムリソースを持つクライアントのサブセットは、オンデバイスKDを介して知識を大きなモデルに転送します。
• 参考スコア（独自算出の注目度）: 18.416541333724297
• License:
• Abstract: Online Knowledge Distillation (KD) is recently highlighted to train large models in Federated Learning (FL) environments. Many existing studies adopt the logit ensemble method to perform KD on the server side. However, they often assume that unlabeled data collected at the edge is centralized on the server. Moreover, the logit ensemble method personalizes local models, which can degrade the quality of soft targets, especially when data is highly non-IID. To address these critical limitations,we propose a novel on-device KD-based heterogeneous FL method. Our approach leverages a small auxiliary model to learn from labeled local data. Subsequently, a subset of clients with strong system resources transfers knowledge to a large model through on-device KD using their unlabeled data. Our extensive experiments demonstrate that our on-device KD-based heterogeneous FL method effectively utilizes the system resources of all edge devices as well as the unlabeled data, resulting in higher accuracy compared to SOTA KD-based FL methods.
• Abstract（参考訳）: オンライン知識蒸留(KD)は、最近、フェデレートラーニング(FL)環境で大規模なモデルをトレーニングするために強調されている。 既存の研究の多くはサーバ側でKDを実行するためにロジットアンサンブル法を採用している。 しかし、彼らはしばしば、エッジで収集されたラベルのないデータがサーバに集中していると仮定する。 さらに、ロジットアンサンブル法は、特にデータが非IIDである場合に、ソフトターゲットの品質を低下させることができるローカルモデルをパーソナライズする。 これらの限界に対処するため、デバイス上でのKDに基づくヘテロジニアスFL法を提案する。 我々のアプローチは、ラベル付きローカルデータから学習するために小さな補助モデルを活用する。 その後、強力なシステムリソースを持つクライアントのサブセットは、未ラベルのデータを使用してデバイス上のKDを通して、知識を大きなモデルに転送する。 デバイス上のKDをベースとした異種FL法は,ラベルのないデータだけでなく,すべてのエッジデバイスのシステムリソースを効果的に利用し,SOTA KDベースのFL法と比較して精度が高いことを示す。

関連論文リスト

• One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
  One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。 我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
  論文  参考訳（メタデータ） (2024-12-06T17:05:34Z)
• Condensed Sample-Guided Model Inversion for Knowledge Distillation [42.91823325342862]
  知識蒸留(KD)は、訓練済みの教師モデルからよりコンパクトな学生モデルへの知識伝達を可能にするニューラルネットワーク圧縮の重要な要素である。 KDはトレーニングデータセットへのアクセスに依存しているため、プライバシの懸念や、データのサイズに関する論理的な問題のために、必ずしも完全に利用できるとは限らない。 本稿では, 縮合したサンプルを補足情報の一形態とみなし, 対象データ分布をよりよく近似する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-25T14:43:27Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Towards Fast and Accurate Federated Learning with non-IID Data for Cloud-Based IoT Applications [22.107854601448906]
  フェデレートラーニング(FL)はモノのインターネット(IoT)設計で人気を博している。 IoTデバイスによって収集されたデータが非独立かつ同一に分散された(非IID)方法でスキューされると、バニラFL法の精度が保証されない。 本稿では,非IIDデータのトレーニングにおいて,重み分散のデメリットを効果的に低減できる新しいデータベースデバイスグループ化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-29T06:49:08Z)
• Efficient Federated Learning for AIoT Applications Using Knowledge Distillation [2.5892786553124085]
  フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。 従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。 本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:40:42Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。