Fugu-MT 論文翻訳(概要): Towards Sparsified Federated Neuroimaging Models via Weight Pruning

論文の概要: Towards Sparsified Federated Neuroimaging Models via Weight Pruning

arxiv url: http://arxiv.org/abs/2208.11669v1
Date: Wed, 24 Aug 2022 17:05:47 GMT
ステータス: 処理完了
システム内更新日: 2022-08-25 13:37:11.500159
Title: Towards Sparsified Federated Neuroimaging Models via Weight Pruning
Title（参考訳）: 重みの刈り取りによるスパース化フェデレーションニューロイメージングモデルの開発
Authors: Dimitris Stripelis, Umang Gupta, Nikhil Dhinagar, Greg Ver Steeg, Paul Thompson, Jos\'e Luis Ambite
Abstract要約: FedSparsifyは、フェデレートトレーニング中にモデルプルーニングを実行する。性能に影響を与えることなく、95%の間隔でモデルを刈り取ることができることを示す。モデルプルーニングの驚くべきメリットのひとつは、モデルのプライバシを改善することだ。
参考スコア（独自算出の注目度）: 13.0319103091844
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated training of large deep neural networks can often be restrictive due to the increasing costs of communicating the updates with increasing model sizes. Various model pruning techniques have been designed in centralized settings to reduce inference times. Combining centralized pruning techniques with federated training seems intuitive for reducing communication costs -- by pruning the model parameters right before the communication step. Moreover, such a progressive model pruning approach during training can also reduce training times/costs. To this end, we propose FedSparsify, which performs model pruning during federated training. In our experiments in centralized and federated settings on the brain age prediction task (estimating a person's age from their brain MRI), we demonstrate that models can be pruned up to 95% sparsity without affecting performance even in challenging federated learning environments with highly heterogeneous data distributions. One surprising benefit of model pruning is improved model privacy. We demonstrate that models with high sparsity are less susceptible to membership inference attacks, a type of privacy attack.
Abstract（参考訳）: 大きなディープニューラルネットワークのフェデレートトレーニングは、更新とモデルサイズの増加との通信コストの増大によって制限されることが多い。推論時間を短縮するために、様々なモデルプルーニング技術が集中的に設計されている。集中型プルーニング技術とフェデレーショントレーニングを組み合わせることで、コミュニケーションステップの直前にモデルパラメータをプルーニングすることで、通信コストを削減できる。さらに、トレーニング中のプログレッシブモデルプルーニングアプローチは、トレーニング時間/コストを削減できる。そこで本研究では,フェデレーショントレーニング中にモデルプルーニングを行うfedersparsifyを提案する。脳年齢予測タスク(脳MRIから年齢を推定する)の集中的および連合的設定実験において、高度に異種なデータ分布を持つフェデレーション学習環境においても、性能に影響を与えることなく、モデルが95%の間隔で切断できることを実証した。 model pruningの驚くべきメリットのひとつは、モデルプライバシの改善だ。我々は、高いスパース性を持つモデルが、プライバシ攻撃の一種であるメンバーシップ推論攻撃の影響を受けにくいことを実証する。

関連論文リスト

Semi-Supervised Reward Modeling via Iterative Self-Training [52.48668920483908]
本稿では,未ラベルデータを用いたRMトレーニングを強化する手法であるSemi-Supervised Reward Modeling (SSRM)を提案する。 SSRMは、追加のラベリングコストを発生させることなく、報酬モデルを大幅に改善することを示した。全体として、SSRMは、人間が注釈付けした大量のデータへの依存を大幅に減らし、効果的な報酬モデルのトレーニングに要する全体的なコストと時間を削減する。
論文参考訳（メタデータ） (2024-09-10T22:57:58Z)
Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。 FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文参考訳（メタデータ） (2024-01-25T14:49:15Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
Pre-Pruning and Gradient-Dropping Improve Differentially Private Image Classification [9.120531252536617]
本稿では,テキストプリプルーニングとテキストグラディエントドロップを用いた新しいトレーニングパラダイムを導入し,パラメータ空間の削減と拡張性の向上を図る。トレーニングパラダイムでは,プレプニング率と勾配ドロップ率,プライバシ損失,分類精度の間に緊張関係が生じる。
論文参考訳（メタデータ） (2023-06-19T14:35:28Z)
Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning [18.12162136918301]
フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。最近の最先端の事前訓練モデルでは、より能力が高くなっているが、パラメータも増えている。 FLにおけるこれらの強力で容易に利用できる事前学習モデルが、通信負荷を同時に軽減しつつ優れた性能を達成するためのソリューションを見つけることができるだろうか? 具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
論文参考訳（メタデータ） (2022-10-04T16:08:54Z)
Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
論文参考訳（メタデータ） (2022-05-17T05:37:08Z)
Federated Progressive Sparsification (Purge, Merge, Tune)+ [15.08232397899507]
FedSparsifyは、プログレッシブ・ウェイト・マグニチュード・プルーニングに基づくスパーシフィケーション戦略である。我々は,FedSparsifyが高空間性と学習性能の両方のサブネットワークを学習できることを実験的に示す。
論文参考訳（メタデータ） (2022-04-26T16:45:53Z)
Enabling On-Device Training of Speech Recognition Models with Federated Dropout [4.165917555996752]
フェデレーション学習は、デバイスを離れないローカルデータに基づいて、エッジ上の機械学習モデルをトレーニングするために使用することができる。我々は,フルサイズのモデルサーバサイドをトレーニングしながら,クライアントモデルのサイズを減らすために,フェデレートド・ドロップアウト(Federated Dropout)を提案する。
論文参考訳（メタデータ） (2021-10-07T17:22:40Z)
Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文参考訳（メタデータ） (2021-05-10T08:02:27Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。