論文の概要: Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation

• arxiv url: http://arxiv.org/abs/2204.07028v1
• Date: Thu, 14 Apr 2022 15:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 12:18:56.762889
• Title: Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation
• Title（参考訳）: プロキシフリーフェデレーション蒸留における分散知識の一致の探索
• Authors: Zhiyuan Wu, Sheng Sun, Yuwei Wang, Min Liu, Qingxiang Liu
• Abstract要約: Federated Learning(FL)は、サーバがプライベートデータを組み立てることなく、クライアントからローカルモデルパラメータを定期的に集約する分散機械学習パラダイムである。 分散知識合同(FedDKC)に基づくプロキシフリーFDアルゴリズムを提案する。 提案したFedDKC法は,93.33%の比較で最先端を達成し,通信オーバーヘッドを増大させることなく,より高速な収束を実現する。
• 参考スコア（独自算出の注目度）: 10.228921204471206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a distributed machine learning paradigm in which the server periodically aggregates local model parameters from clients without assembling their private data. User-constrained communication bandwidth and the requirement for personalized models pose severe challenges to FL. Federated distillation (FD) is proposed to simultaneously address the two problems, which exchanges knowledge between the server and clients, supporting heterogeneous local models while significantly reducing communication overhead. However, most existing FD methods require a proxy dataset, which is often unavailable. Proxy-data-free FD approaches eliminate the need for additional public data beyond clients' private data, but suffer from remarkable discrepancy among local knowledge due to model heterogeneity, leading to ambiguous representation on the server and inevitable accuracy degradation. To tackle this issue, we propose a proxy-data-free FD algorithm based on distributed knowledge congruence (FedDKC). FedDKC leverages well-designed refinement strategies to narrow local knowledge differences into an acceptable upper bound to mitigate the negative effects of knowledge incongruence. Specifically, from perspectives of peak probability and Shannon entropy of local knowledge, we design kernel-based knowledge refinement (KKR) and searching-based knowledge refinement (SKR) respectively, and theoretically guarantee the refined-local knowledge can satisfy an approximately-similar distribution and be regarded as congruent. Extensive experiments conducted on three common datasets demonstrate that our proposed FedDKC method outperforms the state-of-the-art in 93.33% of comparisons, and achieves faster convergence without increasing communication overhead.
• Abstract（参考訳）: Federated Learning(FL)は、サーバがプライベートデータを組み立てることなく、クライアントからローカルモデルパラメータを定期的に集約する分散機械学習パラダイムである。 ユーザ制約のある通信帯域幅とパーソナライズされたモデルの要求はFLに深刻な課題をもたらす。 fd(federated distillation)は、サーバとクライアントの間で知識を交換し、異種ローカルモデルをサポートしながら通信オーバーヘッドを大幅に削減する2つの問題を解決するために提案されている。 しかし、既存のほとんどのFDメソッドはプロキシデータセットを必要としており、しばしば利用できない。 proxy-data-free fdアプローチは、クライアントのプライベートデータ以上のパブリックデータの必要性を排除するが、モデルの不均一性によるローカル知識間の著しい不一致に苦しめられ、サーバの曖昧な表現と必然的な正確さの低下に繋がる。 この問題に対処するため,分散知識合同(FedDKC)に基づくプロキシフリーFDアルゴリズムを提案する。 FedDKCは、よく設計された洗練戦略を利用して、局所的な知識の違いを許容できる上限に絞り込み、知識の不一致の負の効果を軽減する。 具体的には、局所知識のピーク確率とシャノンエントロピーの観点から、カーネルベースの知識洗練(KKR)と探索ベースの知識洗練(SKR)をそれぞれ設計し、局所知識がほぼ同種の分布を満たすことを理論的に保証し、同種と見なす。 3つの共通データセットで行った広範囲な実験により、提案手法が93.33%の比較で最先端を上回り、通信オーバーヘッドを増大させることなく高速に収束することを示した。

関連論文リスト

• KnFu: Effective Knowledge Fusion [5.305607095162403]
  フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。 本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。 この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
  論文  参考訳（メタデータ） (2024-03-18T15:49:48Z)
• Logits Poisoning Attack in Federated Distillation [8.728629314547248]
  FDLA(Federated Distillation, FD)を応用した中毒予防法について紹介する。 LPAがクライアントモデルの精度を効果的に損なうことを実証し、この点において確立されたベースラインアルゴリズムよりも優れていることを示す。 以上の結果から,FD設定における堅牢な防御機構の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-01-08T06:18:46Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。