論文の概要: On the Byzantine-Resilience of Distillation-Based Federated Learning
- arxiv url: http://arxiv.org/abs/2402.12265v1
- Date: Mon, 19 Feb 2024 16:26:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 15:34:17.435300
- Title: On the Byzantine-Resilience of Distillation-Based Federated Learning
- Title(参考訳): 蒸留系フェデレート学習のビザンチン耐性について
- Authors: Christophe Roux, Max Zimmer, Sebastian Pokutta
- Abstract要約: 本研究では,クライアントのサブセットが逆向きに振る舞うビザンチン環境でのこのような手法の性能について検討する。
KDをベースとしたFLアルゴリズムは極めて弾力性があり、ビザンチンクライアントが学習プロセスにどのように影響するかを分析する。
我々は,KDに基づくFLアルゴリズムのビザンチンレジリエンスを高め,その有効性を示す新しい手法であるFilterExpを提案する。
- 参考スコア(独自算出の注目度): 25.640945536657927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) algorithms using Knowledge Distillation (KD) have
received increasing attention due to their favorable properties with respect to
privacy, non-i.i.d. data and communication cost. These methods depart from
transmitting model parameters and, instead, communicate information about a
learning task by sharing predictions on a public dataset. In this work, we
study the performance of such approaches in the byzantine setting, where a
subset of the clients act in an adversarial manner aiming to disrupt the
learning process. We show that KD-based FL algorithms are remarkably resilient
and analyze how byzantine clients can influence the learning process compared
to Federated Averaging. Based on these insights, we introduce two new byzantine
attacks and demonstrate that they are effective against prior
byzantine-resilient methods. Additionally, we propose FilterExp, a novel method
designed to enhance the byzantine resilience of KD-based FL algorithms and
demonstrate its efficacy. Finally, we provide a general method to make attacks
harder to detect, improving their effectiveness.
- Abstract(参考訳): 知識蒸留(kd)を用いたフェデレーション学習(fl)アルゴリズムは,プライバシ,非i.i.d.データ,通信コストの面で有利な性質から注目を集めている。
これらの方法は、モデルパラメータの送信から離れて、パブリックデータセットで予測を共有することによって、学習タスクに関する情報を伝達する。
本研究では, クライアントのサブセットが, 学習過程を妨害する目的で, 対角的に行動する, ビザンチン環境でのこのような手法の性能について検討する。
kdベースのflアルゴリズムは極めてレジリエントであり,連合平均化と比較してビザンチンクライアントが学習プロセスにどのように影響を与えるかを分析する。
これらの知見に基づき,新たなビザンチン攻撃を2回導入し,従来のビザンチン耐性法に対して有効であることを示す。
さらに,KDに基づくFLアルゴリズムのビザンチンレジリエンスを高め,その有効性を示す新しい手法であるFilterExpを提案する。
最後に、攻撃を検知しにくくし、その効果を向上させる一般的な方法を提案する。
関連論文リスト
- Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。
我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。
本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文 参考訳(メタデータ) (2024-02-08T10:52:37Z) - AICSD: Adaptive Inter-Class Similarity Distillation for Semantic
Segmentation [12.92102548320001]
本稿では,知識蒸留を目的としたICSD (Inter-Class similarity Distillation) を提案する。
提案手法は,教師ネットワークから生徒ネットワークへの高次関係を,ネットワーク出力から各クラス毎のクラス内分布を独立に計算することによって伝達する。
セマンティックセグメンテーションのためのよく知られた2つのデータセットであるCityscapesとPascal VOC 2012の実験により、提案手法の有効性が検証された。
論文 参考訳(メタデータ) (2023-08-08T13:17:20Z) - Distillation Policy Optimization [5.439020425819001]
本研究では,評価と制御の両面において2つのデータソースを調和させるアクタ批判学習フレームワークを提案する。
このフレームワークには、統一利便推定器(UAE)と残留基線を含む分散還元機構が組み込まれている。
以上の結果から,オンラインアルゴリズムのサンプル効率は大幅に向上し,非政治的アプローチとのギャップを効果的に埋めることができた。
論文 参考訳(メタデータ) (2023-02-01T15:59:57Z) - Effective Decision Boundary Learning for Class Incremental Learning [13.426495434163234]
クラスインクリメンタルラーニング(CIL)におけるリハーサルアプローチは、新しいクラスに過度に適合する決定境界に悩まされる。
これら2つの要因に対処するための,単純かつ効果的なアプローチを提案する。
実験の結果,提案したLはいくつかのCILベンチマークにおいて,最先端の性能を実現していることがわかった。
論文 参考訳(メタデータ) (2023-01-12T18:04:51Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳(メタデータ) (2022-11-18T02:00:17Z) - Evaluating Membership Inference Through Adversarial Robustness [6.983991370116041]
本稿では,敵の強靭性に基づくメンバシップ推論攻撃の強化手法を提案する。
提案手法をFashion-MNIST, CIFAR-10, CIFAR-100の3つのデータセットで評価した。
論文 参考訳(メタデータ) (2022-05-14T06:48:47Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-21T13:27:09Z) - Residual Knowledge Distillation [96.18815134719975]
本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。
このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。
提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-02-21T07:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。