論文の概要: Edge Bias in Federated Learning and its Solution by Buffered Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2010.10338v3
• Date: Tue, 9 Feb 2021 07:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:29:13.879734
• Title: Edge Bias in Federated Learning and its Solution by Buffered Knowledge Distillation
• Title（参考訳）: フェデレーション学習におけるエッジバイアスとバッファド知識蒸留による解法
• Authors: Sangho Lee, Kiyoon Yoo, Nojun Kwak
• Abstract要約: フェデレートラーニング(FL)は、サーバ(コア)とローカルデバイス(エッジ)間の通信を利用して、より多くのデータから間接的に学習する。 本稿では, 知識蒸留に基づくFL法を用いて, 課題に対処する。 異なるデータセットで訓練された複数の教師モデルを用いて知識を抽出する場合に発生する問題「エッジバイアス」を掘り下げる。 FLの特定のシナリオで発生するこのニュアンスを導入し、それを緩和するため、「膨潤蒸留」と呼ばれる単純で効果的な蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 36.7029358160356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL), which utilizes communication between the server (core) and local devices (edges) to indirectly learn from more data, is an emerging field in deep learning research. Recently, Knowledge Distillation-based FL methods with notable performance and high applicability have been suggested. In this paper, we choose knowledge distillation-based FL method as our baseline and tackle a challenging problem that ensues from using these methods. Especially, we focus on the problem incurred in the server model that tries to mimic different datasets, each of which is unique to an individual edge device. We dub the problem 'edge bias', which occurs when multiple teacher models trained on different datasets are used individually to distill knowledge. We introduce this nuisance that occurs in certain scenarios of FL, and to alleviate it, we propose a simple yet effective distillation scheme named 'buffered distillation'. In addition, we also experimentally show that this scheme is effective in mitigating the straggler problem caused by delayed edges.
• Abstract（参考訳）: サーバ(コア)とローカルデバイス(エッジ)間の通信を利用して、より多くのデータから間接的に学習するフェデレーション学習(fl)は、ディープラーニング研究の新たな分野である。 近年,優れた性能と高い適用性を有する知識蒸留式fl法が提案されている。 本稿では,知識蒸留に基づくFL法をベースラインとして選択し,これらの手法を用いることで生じる課題に対処する。 特に、異なるデータセットを模倣しようとするサーバモデルで発生する問題に焦点を当て、それぞれが個々のエッジデバイスに固有のものである。 異なるデータセットで訓練された複数の教師モデルを用いて知識を抽出する場合に発生する問題「エッジバイアス」を掘り下げる。 FLの特定のシナリオで発生するこのニュアンスを導入し、それを緩和するため、「膨潤蒸留」と呼ばれる単純で効果的な蒸留法を提案する。 さらに,本手法が遅延エッジに起因するストラグラー問題の緩和に有効であることを示す。

関連論文リスト

• Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
  拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。 また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T20:59:18Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Privacy-Preserving Self-Taught Federated Learning for Heterogeneous Data [6.545317180430584]
  フェデレーテッド・ラーニング(FL)は、各パーティのローカルデータを用いて、データを他人に公開することなく、ディープラーニングモデルのジョイントトレーニングを可能にするために提案された。 本研究では,前述の問題に対処するために,自己学習型フェデレーション学習と呼ばれるFL手法を提案する。 この方法では、潜在変数だけがモデルトレーニングのために他の当事者に送信され、プライバシはアクティベーション、重み、バイアスのデータとパラメータをローカルに保存することで保持される。
  論文  参考訳（メタデータ） (2021-02-11T08:07:51Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)
• Knowledge distillation via adaptive instance normalization [52.91164959767517]
  本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。 本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。 以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-03-09T17:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。