論文の概要: HideNseek: Federated Lottery Ticket via Server-side Pruning and Sign
Supermask
- arxiv url: http://arxiv.org/abs/2206.04385v1
- Date: Thu, 9 Jun 2022 09:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 22:25:22.027050
- Title: HideNseek: Federated Lottery Ticket via Server-side Pruning and Sign
Supermask
- Title(参考訳): HideNseek:サーバサイドのPruningとSign Supermaskによるフェデレーション付きロッキーチケット
- Authors: Anish K. Vallapuram, Pengyuan Zhou, Young D. Kwon, Lik Hang Lee,
Hengwei Xu and Pan Hui
- Abstract要約: フェデレーション学習は、ローカルモデルの更新のみを中央サーバに送信することで、分散学習におけるプライバシーリスクを軽減する。
従来の研究は、パーソナライズと量子化とプルーニングを含むモデル圧縮スキームを組み合わせることで、これらの課題に対処してきた。
本稿では,重みのシナプス性に基づくサブネットワークを実現するために,ワンショットデータ非依存プルーニングを用いたHydenNseekを提案する。
- 参考スコア(独自算出の注目度): 11.067931264340931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning alleviates the privacy risk in distributed learning by
transmitting only the local model updates to the central server. However, it
faces challenges including statistical heterogeneity of clients' datasets and
resource constraints of client devices, which severely impact the training
performance and user experience. Prior works have tackled these challenges by
combining personalization with model compression schemes including quantization
and pruning. However, the pruning is data-dependent and thus must be done on
the client side which requires considerable computation cost. Moreover, the
pruning normally trains a binary supermask $\in \{0, 1\}$ which significantly
limits the model capacity yet with no computation benefit. Consequently, the
training requires high computation cost and a long time to converge while the
model performance does not pay off. In this work, we propose HideNseek which
employs one-shot data-agnostic pruning at initialization to get a subnetwork
based on weights' synaptic saliency. Each client then optimizes a sign
supermask $\in \{-1, +1\}$ multiplied by the unpruned weights to allow faster
convergence with the same compression rates as state-of-the-art. Empirical
results from three datasets demonstrate that compared to state-of-the-art,
HideNseek improves inferences accuracies by up to 40.6\% while reducing the
communication cost and training time by up to 39.7\% and 46.8\% respectively.
- Abstract(参考訳): フェデレーション学習は、ローカルモデル更新のみを中央サーバに送信することで、分散学習におけるプライバシリスクを軽減する。
しかし、クライアントのデータセットの統計的不均一性やクライアントデバイスのリソース制約など、トレーニングのパフォーマンスやユーザエクスペリエンスに重大な影響を及ぼす課題に直面している。
以前の研究は、パーソナライズと量子化とプルーニングを含むモデル圧縮スキームを組み合わせることで、これらの課題に対処してきた。
しかし、プルーニングはデータに依存しており、かなりの計算コストを必要とするクライアント側で実行する必要がある。
さらに、プルーニングは通常バイナリスーパーマスク$\in \{0, 1\}$を訓練する。
したがって、トレーニングには高い計算コストと、モデルのパフォーマンスが損なわれていない間に収束するのに長い時間がかかる。
本研究では,初期化時に単発データ非依存プルーニングを用いて,hivesのシナプス・サリエンシに基づくサブネットワークを得るhidenseekを提案する。
各クライアントは、unprunedの重みで乗算されたサインスーパーマスク$\in \{-1, +1\}$を最適化し、最先端の圧縮レートと同じ高速収束を可能にする。
3つのデータセットによる実証的な結果は、最先端と比較して、HieNseekは推論精度を最大40.6\%改善し、通信コストとトレーニング時間を最大39.7\%と46.8\%削減したことを示している。
関連論文リスト
- Effective pruning of web-scale datasets based on complexity of concept
clusters [48.125618324485195]
本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。
高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。
我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
論文 参考訳(メタデータ) (2024-01-09T14:32:24Z) - Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。
本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
論文 参考訳(メタデータ) (2023-05-16T17:36:34Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳(メタデータ) (2022-10-14T01:42:05Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - ProgFed: Effective, Communication, and Computation Efficient Federated
Learning by Progressive Training [78.44473677588887]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
これは本質的に、最終モデルの強力な性能を維持しながら、計算と双方向通信コストを削減します。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳(メタデータ) (2021-10-11T14:45:00Z) - Personalized Federated Learning via Maximizing Correlation with Sparse
and Hierarchical Extensions [14.862798952297105]
Federated Learning(FL)は、クライアントのプライベートデータを取得することなくグローバルモデルをトレーニングするための、協調的な機械学習技術である。
相関関係を最大化するpFedMacを用いた新しい個人化フェデレーション学習を提案する。
pFedMac は L2-norm 距離に基づくパーソナライズ手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-12T11:43:40Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳(メタデータ) (2020-10-18T01:44:42Z) - Distilled One-Shot Federated Learning [13.294757670979031]
そこで本稿では, DOSFL (Distilled One-Shot Federated Learning) を提案する。
たった1ラウンドで、各クライアントはプライベートデータセットを蒸留し、合成データ(画像や文など)をサーバに送る。
この軽量で勾配のない設計では、DOSFLの通信コストはFedAvgよりも最大で3桁少ない。
論文 参考訳(メタデータ) (2020-09-17T01:14:47Z) - Corella: A Private Multi Server Learning Approach based on Correlated
Queries [30.3330177204504]
データプライバシーを保護する代替手段として、$textitCorella$を提案する。
提案手法はサーバのクラスタに依存しており,少なくともmathbbN$のTは,それぞれが学習モデルを実行することでコロードを行うことができる。
ノイズのばらつきは、情報漏洩を最大$T$サーバの任意のサブセットに、理論的に無視できるほど大きく設定されている。
論文 参考訳(メタデータ) (2020-03-26T17:44:00Z) - Variance Reduced Local SGD with Lower Communication Complexity [52.44473777232414]
本稿では,通信の複雑さをさらに軽減するために,分散化ローカルSGDを提案する。
VRL-SGDは、労働者が同一でないデータセットにアクセスしても、通信の複雑さが低い$O(Tfrac12 Nfrac32)$で、エンフラーイテレーションのスピードアップを達成する。
論文 参考訳(メタデータ) (2019-12-30T08:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。