論文の概要: HYDRA-FL: Hybrid Knowledge Distillation for Robust and Accurate Federated Learning

• arxiv url: http://arxiv.org/abs/2409.19912v1
• Date: Mon, 7 Oct 2024 03:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 16:57:15.432562
• Title: HYDRA-FL: Hybrid Knowledge Distillation for Robust and Accurate Federated Learning
• Title（参考訳）: HYDRA-FL:ロバストで正確なフェデレート学習のためのハイブリッド知識蒸留
• Authors: Momin Ahmad Khan, Yasra Chandio, Fatima Muhammad Anwar,
• Abstract要約: 本稿では,KDベースのFLシステムにおいて,この重大な脆弱性を明らかにするケーススタディを提案する。 KDがなぜこの問題を経験的証拠を通じて引き起こし、それをハイブリッド蒸留技術の設計の動機として利用するのかを示す。 本稿では,ロバストと高精度FL(HYDRA-FL)のためのハイブリッド知識蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 1.3312007032203859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data heterogeneity among Federated Learning (FL) users poses a significant challenge, resulting in reduced global model performance. The community has designed various techniques to tackle this issue, among which Knowledge Distillation (KD)-based techniques are common. While these techniques effectively improve performance under high heterogeneity, they inadvertently cause higher accuracy degradation under model poisoning attacks (known as attack amplification). This paper presents a case study to reveal this critical vulnerability in KD-based FL systems. We show why KD causes this issue through empirical evidence and use it as motivation to design a hybrid distillation technique. We introduce a novel algorithm, Hybrid Knowledge Distillation for Robust and Accurate FL (HYDRA-FL), which reduces the impact of attacks in attack scenarios by offloading some of the KD loss to a shallow layer via an auxiliary classifier. We model HYDRA-FL as a generic framework and adapt it to two KD-based FL algorithms, FedNTD and MOON. Using these two as case studies, we demonstrate that our technique outperforms baselines in attack settings while maintaining comparable performance in benign settings.
• Abstract（参考訳）: フェデレートラーニング(FL)ユーザ間のデータの異質性は大きな課題となり、結果としてグローバルモデルのパフォーマンスが低下する。 コミュニティは、知識蒸留(KD)ベースのテクニックが一般的である、この問題に対処する様々なテクニックを設計してきた。 これらの技術は、高い不均一性の下で性能を効果的に向上するが、モデル中毒攻撃(アタック増幅(英語版)として知られる)下では、必然的に高い精度の劣化を引き起こす。 本稿では,KDベースのFLシステムにおいて,この重大な脆弱性を明らかにするケーススタディを提案する。 KDがなぜこの問題を経験的証拠を通じて引き起こし、それをハイブリッド蒸留技術の設計の動機として利用するのかを示す。 本稿では,ロバストと精度FL(HYDRA-FL)のハイブリッド知識蒸留アルゴリズムを導入し,KD損失の一部を補助分類器を介して浅層にオフロードすることで,攻撃シナリオにおける攻撃の影響を低減する。 我々は、HYDRA-FLを汎用フレームワークとしてモデル化し、2つのKDベースのFLアルゴリズムであるFedNTDとMOONに適応する。 これら2つのケーススタディを用いて,本手法が攻撃設定におけるベースラインを上回り,良性設定における同等の性能を維持していることを示す。

関連論文リスト

• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Poisoning with A Pill: Circumventing Detection in Federated Learning [33.915489514978084]
  本稿では,FLにおける検出に対する既存のFL中毒攻撃の有効性とステルス性を高めるために,汎用的かつ攻撃に依存しない拡張手法を提案する。 具体的には、FLトレーニング中に、戦略的にピルを構築、生成、注入する3段階の方法論を用いており、それに従ってピル構築、ピル中毒およびピル注入と命名されている。
  論文  参考訳（メタデータ） (2024-07-22T05:34:47Z)
• De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
  Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。 既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。 本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-03-28T16:13:22Z)
• FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning [98.43475653490219]
  フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。 FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。 FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
  論文  参考訳（メタデータ） (2023-12-07T16:56:24Z)
• Data-Agnostic Model Poisoning against Federated Learning: A Graph Autoencoder Approach [65.2993866461477]
  本稿では,フェデレートラーニング(FL)に対するデータに依存しないモデル中毒攻撃を提案する。 この攻撃はFLトレーニングデータの知識を必要とせず、有効性と検出不能の両方を達成する。 実験により、FLの精度は提案した攻撃の下で徐々に低下し、既存の防御機構では検出できないことが示された。
  論文  参考訳（メタデータ） (2023-11-30T12:19:10Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated Learning [66.56240101249803]
  我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。 本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。 競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
  論文  参考訳（メタデータ） (2022-10-23T22:24:03Z)
• A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection [20.712532953953808]
  本稿では,DKAN(Dual Knowledge Align Network)と呼ばれる新しい知識蒸留ネットワークを提案する。 提案したDKAN法は,事前学習型ファインタニング伝達学習パラダイムを踏襲し,ファインタニングのための知識蒸留フレームワークを設計した。 Few-shot NEU-DETデータセットをインクリメンタルに実験した結果、DKANは様々なシーンで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-01T15:08:44Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Mitigating the Impact of Adversarial Attacks in Very Deep Networks [10.555822166916705]
  Deep Neural Network (DNN)モデルにはセキュリティに関する脆弱性がある。 データ中毒による摂動攻撃は、モデルに偽データを注入する複雑な敵対攻撃である。 そこで本研究では,攻撃に依存しない防御手法を提案する。
  論文  参考訳（メタデータ） (2020-12-08T21:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。