論文の概要: Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher

• arxiv url: http://arxiv.org/abs/2304.01731v4
• Date: Fri, 15 Dec 2023 03:21:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 19:48:10.445753
• Title: Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher
• Title（参考訳）: 教師のいないプライバシ保全連系蒸留における選択的知識共有
• Authors: Jiawei Shao, Fangzhao Wu, Jun Zhang
• Abstract要約: フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
• 参考スコア（独自算出の注目度）: 52.2926020848095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While federated learning is promising for privacy-preserving collaborative learning without revealing local data, it remains vulnerable to white-box attacks and struggles to adapt to heterogeneous clients. Federated distillation (FD), built upon knowledge distillation--an effective technique for transferring knowledge from a teacher model to student models--emerges as an alternative paradigm, which provides enhanced privacy guarantees and addresses model heterogeneity. Nevertheless, challenges arise due to variations in local data distributions and the absence of a well-trained teacher model, which leads to misleading and ambiguous knowledge sharing that significantly degrades model performance. To address these issues, this paper proposes a selective knowledge sharing mechanism for FD, termed Selective-FD. It includes client-side selectors and a server-side selector to accurately and precisely identify knowledge from local and ensemble predictions, respectively. Empirical studies, backed by theoretical insights, demonstrate that our approach enhances the generalization capabilities of the FD framework and consistently outperforms baseline methods.
• Abstract（参考訳）: フェデレーション学習は、ローカルデータを公開せずに、プライバシー保護による協調学習を約束する一方で、ホワイトボックス攻撃に弱いままであり、異種クライアントへの適応に苦慮している。 fd(federated distillation)は、教師モデルから生徒モデルへ知識を移す効果的な技術であり、プライバシー保証を強化し、モデルの不均一性に対処するためのパラダイムである。 それでも、ローカルなデータ分布の変化と、よく訓練された教師モデルの欠如によって生じる課題は、モデル性能を著しく低下させる誤解を招きあい、曖昧な知識共有につながる。 この問題に対処するため,本稿では,fdのための選択的知識共有機構を提案する。 クライアント側セレクタとサーバ側セレクタを含み、それぞれローカルとアンサンブルの予測から知識を正確かつ正確に識別する。 理論的洞察に裏付けられた実証研究は、このアプローチがfdフレームワークの一般化能力を高め、ベースラインメソッドを一貫して上回っていることを証明している。

関連論文リスト

• Evidential Federated Learning for Skin Lesion Image Classification [9.112380151690862]
  FedEvPromptは、明らかなディープラーニング、迅速なチューニング、知識蒸留の原則を統合する、連合学習アプローチである。 ラウンドベースの学習パラダイムで最適化されており、各ラウンドではローカルモデルをトレーニングし、次にすべてのフェデレーションクライアントとアテンションマップを共有する。 結論としてFedEvPromptは、データ不均一性、不均衡、プライバシー保護、知識共有といった課題に効果的に対処する、連邦学習に有望なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-11-15T09:34:28Z)
• FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses [50.921333548391345]
  フェデレーテッド・ラーニング(Federated Learning)は、分散型機械学習パラダイムをプライバシ保護するものだ。 近年の研究では、Deep Leakageと呼ばれる勾配技術によって、民間の真実データを復元できることが判明している。 本稿では、Deep Leakage攻撃と防御を評価するための総合的なベンチマークであるFEDLAD Framework(Federated Evaluation of Deep Leakage Attacks and Defenses)を紹介する。
  論文  参考訳（メタデータ） (2024-11-05T11:42:26Z)
• Privacy-Preserving Federated Learning with Consistency via Knowledge Distillation Using Conditional Generator [19.00239208095762]
  モデルパラメータや更新のみを共有し、プライベートデータをローカルに保持する分散学習フレームワークとして、フェデレートラーニング(FL)が人気を集めています。 高い競争性能と高レベルのプライバシ保護を備えた新しいFL法であるFedMD-CGを提案する。 我々は、FedMD-CGの優位性を検証するために、様々な画像分類タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-11T02:36:36Z)
• Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
  Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。 リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。 本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:42:02Z)
• KnFu: Effective Knowledge Fusion [5.305607095162403]
  フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。 本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。 この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
  論文  参考訳（メタデータ） (2024-03-18T15:49:48Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
  特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。 私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。 我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
  論文  参考訳（メタデータ） (2022-11-14T13:59:50Z)
• Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation [20.24005399782197]
  フェデレートラーニング(Federated Learning)は、プライバシを保存する機械学習パラダイムである。 最近のプロキシデータフリーなFDアプローチは、追加の公開データの必要性を排除できるが、局所的な知識の相違に悩まされている。 分散知識合同(FedDKC)に基づくプロキシフリーFDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-14T15:39:22Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。