論文の概要: FSL: Federated Supermask Learning

• arxiv url: http://arxiv.org/abs/2110.04350v1
• Date: Fri, 8 Oct 2021 19:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:27:39.127392
• Title: FSL: Federated Supermask Learning
• Title（参考訳）: FSL:Federated Supermask Learning
• Authors: Hamid Mozaffari, Virat Shejwalkar and Amir Houmansadr
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがプライベートトレーニングデータを共有せずに、共通の機械学習モデルを協調的にトレーニングすることを可能にする。 FLは、攻撃に対する堅牢性と通信効率の2つの大きなハードルに直面している。 我々は,フェデレートされたスーパーマスク学習が設計によって堅牢であり,コミュニケーション効率が著しく高いことを理論的,実証的に示す。
• 参考スコア（独自算出の注目度）: 22.011741503471757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) allows multiple clients with (private) data to collaboratively train a common machine learning model without sharing their private training data. In-the-wild deployment of FL faces two major hurdles: robustness to poisoning attacks and communication efficiency. To address these concurrently, we propose Federated Supermask Learning (FSL). FSL server trains a global subnetwork within a randomly initialized neural network by aggregating local subnetworks of all collaborating clients. FSL clients share local subnetworks in the form of rankings of network edges; more useful edges have higher ranks. By sharing integer rankings, instead of float weights, FSL restricts the space available to craft effective poisoning updates, and by sharing subnetworks, FSL reduces the communication cost of training. We show theoretically and empirically that FSL is robust by design and also significantly communication efficient; all this without compromising clients' privacy. Our experiments demonstrate the superiority of FSL in real-world FL settings; in particular, (1) FSL achieves similar performances as state-of-the-art FedAvg with significantly lower communication costs: for CIFAR10, FSL achieves same performance as Federated Averaging while reducing communication cost by ~35%. (2) FSL is substantially more robust to poisoning attacks than state-of-the-art robust aggregation algorithms. We have released the code for reproducibility.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントがプライベートトレーニングデータを共有せずに、共通の機械学習モデルを協調的にトレーニングすることを可能にする。 FLは攻撃に対する堅牢性と通信効率の2つの大きなハードルに直面している。 そこで本稿では,FSL(Federated Supermask Learning)を提案する。 FSLサーバは、すべての協力するクライアントのローカルサブネットワークを集約することにより、ランダムに初期化されたニューラルネットワーク内でグローバルサブネットワークをトレーニングする。 FSLクライアントはネットワークエッジのランキングという形でローカルサブネットワークを共有している。 整数ランキングを共有することで、フロートウェイトの代わりに、FSLは効果的な中毒更新を行うために利用可能なスペースを制限し、サブネットワークを共有することで、FSLはトレーニングの通信コストを削減できる。 我々は、FSLが設計によって堅牢であり、通信効率が著しく高いことを理論的、実証的に示す。 実世界のFL設定におけるFSLの優位性を示す実験として,(1)FSLは現状のFedAvgと同等の性能を実現し,通信コストを著しく低減する: CIFAR10の場合,FSLはフェデレーション平均化と同じ性能を達成し,通信コストを約35%削減する。 2) FSLは最先端のロバストアグリゲーションアルゴリズムよりも有毒な攻撃に対してかなり堅牢である。 再現性のためのコードをリリースした。

関連論文リスト

• Instance-based Max-margin for Practical Few-shot Recognition [32.26577845735846]
  IbM2は、数ショット学習のための新しいインスタンスベースのマックスマージン法である。 本稿では,IbM2がベースライン法に比べてほぼ常に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-05-27T04:55:13Z)
• Communication and Storage Efficient Federated Split Learning [19.369076939064904]
  Federated Split LearningはFLの並列モデルトレーニング原則を保存する。 サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。 本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-11T04:44:29Z)
• Federated Semi-Supervised Learning with Prototypical Networks [18.82809442813657]
  プロトタイプネットワークに基づく新しいFSSLアプローチであるProtoFSSLを提案する。 ProtoFSSLでは、クライアントは軽量プロトタイプを通じて知識を共有する。 ウェイトシェアリングに基づくFSSLアプローチと比較して、プロトタイプベースのクライアント間知識共有は通信コストと計算コストの両方を著しく削減する。
  論文  参考訳（メタデータ） (2022-05-27T11:55:29Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Practical and Light-weight Secure Aggregation for Federated Submodel Learning [9.996335306548387]
  本稿では,実用的で軽量なフェデレート・サブモデル学習手法を提案する。 我々は分散ポイント関数(DPF)とカッコウハッシュを用いてスキームを構築する。 提案プロトコルは,重量が$leq 215$である場合,1分以内で終了できる。
  論文  参考訳（メタデータ） (2021-11-02T08:47:27Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。