論文の概要: Edge Bias in Federated Learning and its Solution by Buffered Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2010.10338v3
• Date: Tue, 9 Feb 2021 07:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:29:13.879734
• Title: Edge Bias in Federated Learning and its Solution by Buffered Knowledge Distillation
• Title（参考訳）: フェデレーション学習におけるエッジバイアスとバッファド知識蒸留による解法
• Authors: Sangho Lee, Kiyoon Yoo, Nojun Kwak
• Abstract要約: フェデレートラーニング(FL)は、サーバ(コア)とローカルデバイス(エッジ)間の通信を利用して、より多くのデータから間接的に学習する。 本稿では, 知識蒸留に基づくFL法を用いて, 課題に対処する。 異なるデータセットで訓練された複数の教師モデルを用いて知識を抽出する場合に発生する問題「エッジバイアス」を掘り下げる。 FLの特定のシナリオで発生するこのニュアンスを導入し、それを緩和するため、「膨潤蒸留」と呼ばれる単純で効果的な蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 36.7029358160356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL), which utilizes communication between the server (core) and local devices (edges) to indirectly learn from more data, is an emerging field in deep learning research. Recently, Knowledge Distillation-based FL methods with notable performance and high applicability have been suggested. In this paper, we choose knowledge distillation-based FL method as our baseline and tackle a challenging problem that ensues from using these methods. Especially, we focus on the problem incurred in the server model that tries to mimic different datasets, each of which is unique to an individual edge device. We dub the problem 'edge bias', which occurs when multiple teacher models trained on different datasets are used individually to distill knowledge. We introduce this nuisance that occurs in certain scenarios of FL, and to alleviate it, we propose a simple yet effective distillation scheme named 'buffered distillation'. In addition, we also experimentally show that this scheme is effective in mitigating the straggler problem caused by delayed edges.
• Abstract（参考訳）: サーバ(コア)とローカルデバイス(エッジ)間の通信を利用して、より多くのデータから間接的に学習するフェデレーション学習(fl)は、ディープラーニング研究の新たな分野である。 近年,優れた性能と高い適用性を有する知識蒸留式fl法が提案されている。 本稿では,知識蒸留に基づくFL法をベースラインとして選択し,これらの手法を用いることで生じる課題に対処する。 特に、異なるデータセットを模倣しようとするサーバモデルで発生する問題に焦点を当て、それぞれが個々のエッジデバイスに固有のものである。 異なるデータセットで訓練された複数の教師モデルを用いて知識を抽出する場合に発生する問題「エッジバイアス」を掘り下げる。 FLの特定のシナリオで発生するこのニュアンスを導入し、それを緩和するため、「膨潤蒸留」と呼ばれる単純で効果的な蒸留法を提案する。 さらに,本手法が遅延エッジに起因するストラグラー問題の緩和に有効であることを示す。

関連論文リスト

• Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
  提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
  論文  参考訳（メタデータ） (2025-02-20T02:35:17Z)
• One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
  One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。 我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
  論文  参考訳（メタデータ） (2024-12-06T17:05:34Z)
• Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
  拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。 また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T20:59:18Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Privacy-Preserving Self-Taught Federated Learning for Heterogeneous Data [6.545317180430584]
  フェデレーテッド・ラーニング(FL)は、各パーティのローカルデータを用いて、データを他人に公開することなく、ディープラーニングモデルのジョイントトレーニングを可能にするために提案された。 本研究では,前述の問題に対処するために,自己学習型フェデレーション学習と呼ばれるFL手法を提案する。 この方法では、潜在変数だけがモデルトレーニングのために他の当事者に送信され、プライバシはアクティベーション、重み、バイアスのデータとパラメータをローカルに保存することで保持される。
  論文  参考訳（メタデータ） (2021-02-11T08:07:51Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。