論文の概要: Towards Sparsified Federated Neuroimaging Models via Weight Pruning
- arxiv url: http://arxiv.org/abs/2208.11669v1
- Date: Wed, 24 Aug 2022 17:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 13:37:11.500159
- Title: Towards Sparsified Federated Neuroimaging Models via Weight Pruning
- Title(参考訳): 重みの刈り取りによるスパース化フェデレーションニューロイメージングモデルの開発
- Authors: Dimitris Stripelis, Umang Gupta, Nikhil Dhinagar, Greg Ver Steeg, Paul
Thompson, Jos\'e Luis Ambite
- Abstract要約: FedSparsifyは、フェデレートトレーニング中にモデルプルーニングを実行する。
性能に影響を与えることなく、95%の間隔でモデルを刈り取ることができることを示す。
モデルプルーニングの驚くべきメリットのひとつは、モデルのプライバシを改善することだ。
- 参考スコア(独自算出の注目度): 13.0319103091844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated training of large deep neural networks can often be restrictive due
to the increasing costs of communicating the updates with increasing model
sizes. Various model pruning techniques have been designed in centralized
settings to reduce inference times. Combining centralized pruning techniques
with federated training seems intuitive for reducing communication costs -- by
pruning the model parameters right before the communication step. Moreover,
such a progressive model pruning approach during training can also reduce
training times/costs. To this end, we propose FedSparsify, which performs model
pruning during federated training. In our experiments in centralized and
federated settings on the brain age prediction task (estimating a person's age
from their brain MRI), we demonstrate that models can be pruned up to 95%
sparsity without affecting performance even in challenging federated learning
environments with highly heterogeneous data distributions. One surprising
benefit of model pruning is improved model privacy. We demonstrate that models
with high sparsity are less susceptible to membership inference attacks, a type
of privacy attack.
- Abstract(参考訳): 大きなディープニューラルネットワークのフェデレートトレーニングは、更新とモデルサイズの増加との通信コストの増大によって制限されることが多い。
推論時間を短縮するために、様々なモデルプルーニング技術が集中的に設計されている。
集中型プルーニング技術とフェデレーショントレーニングを組み合わせることで、コミュニケーションステップの直前にモデルパラメータをプルーニングすることで、通信コストを削減できる。
さらに、トレーニング中のプログレッシブモデルプルーニングアプローチは、トレーニング時間/コストを削減できる。
そこで本研究では,フェデレーショントレーニング中にモデルプルーニングを行うfedersparsifyを提案する。
脳年齢予測タスク(脳MRIから年齢を推定する)の集中的および連合的設定実験において、高度に異種なデータ分布を持つフェデレーション学習環境においても、性能に影響を与えることなく、モデルが95%の間隔で切断できることを実証した。
model pruningの驚くべきメリットのひとつは、モデルプライバシの改善だ。
我々は、高いスパース性を持つモデルが、プライバシ攻撃の一種であるメンバーシップ推論攻撃の影響を受けにくいことを実証する。
関連論文リスト
- Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳(メタデータ) (2024-01-25T14:49:15Z) - Pre-Pruning and Gradient-Dropping Improve Differentially Private Image
Classification [9.120531252536617]
本稿では,テキストプリプルーニングとテキストグラディエントドロップを用いた新しいトレーニングパラダイムを導入し,パラメータ空間の削減と拡張性の向上を図る。
トレーニングパラダイムでは,プレプニング率と勾配ドロップ率,プライバシ損失,分類精度の間に緊張関係が生じる。
論文 参考訳(メタデータ) (2023-06-19T14:35:28Z) - SAFE: Machine Unlearning With Shard Graphs [100.12621304361288]
本稿では,大規模モデルを多種多様なデータ集合に適応させる手法であるSynergy Aware Forgetting Ensemble (SAFE)を提案する。
SAFEは軽量なアダプタシステムを使用し、ほとんどの計算を再利用しながらトレーニングすることができる。
これにより、SAFEは現在の最先端の方法よりも小さなシャードの順序でトレーニングすることができる。
論文 参考訳(メタデータ) (2023-04-25T22:02:09Z) - Distributed Pruning Towards Tiny Neural Networks in Federated Learning [12.63559789381064]
FedTinyは、フェデレートラーニングのための分散プルーニングフレームワークである。
メモリとコンピューティングに制約のあるデバイスのための、特殊な小さなモデルを生成する。
2.61%の精度向上を実現し、計算コストを95.91%削減した。
論文 参考訳(メタデータ) (2022-12-05T01:58:45Z) - Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep
Neural Network, a Survey [69.3939291118954]
最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。
モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。
この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
論文 参考訳(メタデータ) (2022-05-17T05:37:08Z) - Federated Progressive Sparsification (Purge, Merge, Tune)+ [15.08232397899507]
FedSparsifyは、プログレッシブ・ウェイト・マグニチュード・プルーニングに基づくスパーシフィケーション戦略である。
我々は,FedSparsifyが高空間性と学習性能の両方のサブネットワークを学習できることを実験的に示す。
論文 参考訳(メタデータ) (2022-04-26T16:45:53Z) - ProgFed: Effective, Communication, and Computation Efficient Federated
Learning by Progressive Training [78.44473677588887]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
これは本質的に、最終モデルの強力な性能を維持しながら、計算と双方向通信コストを削減します。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳(メタデータ) (2021-10-11T14:45:00Z) - Enabling On-Device Training of Speech Recognition Models with Federated
Dropout [4.165917555996752]
フェデレーション学習は、デバイスを離れないローカルデータに基づいて、エッジ上の機械学習モデルをトレーニングするために使用することができる。
我々は,フルサイズのモデルサーバサイドをトレーニングしながら,クライアントモデルのサイズを減らすために,フェデレートド・ドロップアウト(Federated Dropout)を提案する。
論文 参考訳(メタデータ) (2021-10-07T17:22:40Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2020-12-25T20:50:15Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。