論文の概要: HideNseek: Federated Lottery Ticket via Server-side Pruning and Sign Supermask

• arxiv url: http://arxiv.org/abs/2206.04385v1
• Date: Thu, 9 Jun 2022 09:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 22:25:22.027050
• Title: HideNseek: Federated Lottery Ticket via Server-side Pruning and Sign Supermask
• Title（参考訳）: HideNseek:サーバサイドのPruningとSign Supermaskによるフェデレーション付きロッキーチケット
• Authors: Anish K. Vallapuram, Pengyuan Zhou, Young D. Kwon, Lik Hang Lee, Hengwei Xu and Pan Hui
• Abstract要約: フェデレーション学習は、ローカルモデルの更新のみを中央サーバに送信することで、分散学習におけるプライバシーリスクを軽減する。 従来の研究は、パーソナライズと量子化とプルーニングを含むモデル圧縮スキームを組み合わせることで、これらの課題に対処してきた。 本稿では,重みのシナプス性に基づくサブネットワークを実現するために,ワンショットデータ非依存プルーニングを用いたHydenNseekを提案する。
• 参考スコア（独自算出の注目度）: 11.067931264340931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning alleviates the privacy risk in distributed learning by transmitting only the local model updates to the central server. However, it faces challenges including statistical heterogeneity of clients' datasets and resource constraints of client devices, which severely impact the training performance and user experience. Prior works have tackled these challenges by combining personalization with model compression schemes including quantization and pruning. However, the pruning is data-dependent and thus must be done on the client side which requires considerable computation cost. Moreover, the pruning normally trains a binary supermask $\in \{0, 1\}$ which significantly limits the model capacity yet with no computation benefit. Consequently, the training requires high computation cost and a long time to converge while the model performance does not pay off. In this work, we propose HideNseek which employs one-shot data-agnostic pruning at initialization to get a subnetwork based on weights' synaptic saliency. Each client then optimizes a sign supermask $\in \{-1, +1\}$ multiplied by the unpruned weights to allow faster convergence with the same compression rates as state-of-the-art. Empirical results from three datasets demonstrate that compared to state-of-the-art, HideNseek improves inferences accuracies by up to 40.6\% while reducing the communication cost and training time by up to 39.7\% and 46.8\% respectively.
• Abstract（参考訳）: フェデレーション学習は、ローカルモデル更新のみを中央サーバに送信することで、分散学習におけるプライバシリスクを軽減する。 しかし、クライアントのデータセットの統計的不均一性やクライアントデバイスのリソース制約など、トレーニングのパフォーマンスやユーザエクスペリエンスに重大な影響を及ぼす課題に直面している。 以前の研究は、パーソナライズと量子化とプルーニングを含むモデル圧縮スキームを組み合わせることで、これらの課題に対処してきた。 しかし、プルーニングはデータに依存しており、かなりの計算コストを必要とするクライアント側で実行する必要がある。 さらに、プルーニングは通常バイナリスーパーマスク$\in \{0, 1\}$を訓練する。 したがって、トレーニングには高い計算コストと、モデルのパフォーマンスが損なわれていない間に収束するのに長い時間がかかる。 本研究では,初期化時に単発データ非依存プルーニングを用いて,hivesのシナプス・サリエンシに基づくサブネットワークを得るhidenseekを提案する。 各クライアントは、unprunedの重みで乗算されたサインスーパーマスク$\in \{-1, +1\}$を最適化し、最先端の圧縮レートと同じ高速収束を可能にする。 3つのデータセットによる実証的な結果は、最先端と比較して、HieNseekは推論精度を最大40.6\%改善し、通信コストとトレーニング時間を最大39.7\%と46.8\%削減したことを示している。

関連論文リスト

• Unity is Power: Semi-Asynchronous Collaborative Training of Large-Scale Models with Structured Pruning in Resource-Limited Clients [21.59433932637253]
  本研究では,分散データセット上で大規模モデルを協調的に学習するための,巨大不均一な弱い計算能力の可能性を明らかにする。 本稿では,データ分散を考慮した構造化プルーニングとクロスブロック知識伝達機構を備えた,半非同期協調学習フレームワークを提案する。 実験によると、$Cotext-S2P$は、最先端の手法と比較して、精度を最大8.8%改善し、リソース利用を最大1.2$times$に改善している。
  論文  参考訳（メタデータ） (2024-10-11T02:17:50Z)
• Fair Federated Data Clustering through Personalization: Bridging the Gap between Diverse Data Distributions [2.7905216619150344]
  フェデレーションクラスタリングにおけるパーソナライズの概念を導入し、より低いクラスタリングコストとクライアント間の均一なコストのバランスを達成することを目的とする。 サーバとクライアント間の1ラウンドの通信でこれらの目標に対処するp-FClusを提案する。
  論文  参考訳（メタデータ） (2024-07-05T07:10:26Z)
• Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [65.85963235502322]
  Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。 我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:56:49Z)
• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
  InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。 本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
  論文  参考訳（メタデータ） (2023-05-16T17:36:34Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Corella: A Private Multi Server Learning Approach based on Correlated Queries [30.3330177204504]
  データプライバシーを保護する代替手段として、$textitCorella$を提案する。 提案手法はサーバのクラスタに依存しており,少なくともmathbbN$のTは,それぞれが学習モデルを実行することでコロードを行うことができる。 ノイズのばらつきは、情報漏洩を最大$T$サーバの任意のサブセットに、理論的に無視できるほど大きく設定されている。
  論文  参考訳（メタデータ） (2020-03-26T17:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。