論文の概要: FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental
Regularization
- arxiv url: http://arxiv.org/abs/2309.06805v1
- Date: Wed, 13 Sep 2023 08:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 14:50:40.551780
- Title: FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental
Regularization
- Title（参考訳）: FedDIP: エクストリームダイナミックプルーニングとインクリメンタル正規化によるフェデレーションラーニング
- Authors: Qianyu Long, Christos Anagnostopoulos, Shameem Puthiya Parambath,
Daning Bi
- Abstract要約: 大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。
我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。
我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
- 参考スコア（独自算出の注目度）: 5.182014186927254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) has been successfully adopted for distributed
training and inference of large-scale Deep Neural Networks (DNNs). However,
DNNs are characterized by an extremely large number of parameters, thus,
yielding significant challenges in exchanging these parameters among
distributed nodes and managing the memory. Although recent DNN compression
methods (e.g., sparsification, pruning) tackle such challenges, they do not
holistically consider an adaptively controlled reduction of parameter exchange
while maintaining high accuracy levels. We, therefore, contribute with a novel
FL framework (coined FedDIP), which combines (i) dynamic model pruning with
error feedback to eliminate redundant information exchange, which contributes
to significant performance improvement, with (ii) incremental regularization
that can achieve \textit{extreme} sparsity of models. We provide convergence
analysis of FedDIP and report on a comprehensive performance and comparative
assessment against state-of-the-art methods using benchmark data sets and DNN
models. Our results showcase that FedDIP not only controls the model sparsity
but efficiently achieves similar or better performance compared to other model
pruning methods adopting incremental regularization during distributed model
training. The code is available at: https://github.com/EricLoong/feddip.
- Abstract（参考訳）: 大規模深層ニューラルネットワーク(dnn)の分散トレーニングと推論にfederated learning(fl)がうまく採用されている。
しかし、DNNは非常に多くのパラメータが特徴であり、これらのパラメータを分散ノード間で交換し、メモリを管理する上で大きな課題となる。
最近のDNN圧縮手法(例えば、スペーシフィケーション、プルーニング)はそのような課題に対処するが、高い精度を維持しながらパラメータ交換の適応的に制御された低減を考慮しない。
したがって、我々はFedDIPと組み合わせた新しいFLフレームワーク(Coined FedDIP)に貢献する。
(i)冗長な情報交換をなくすためのエラーフィードバックによる動的モデルプルーニングは、大幅な性能向上に寄与する。
(ii) モデルの <textit{extreme} 空間性を達成できる増分正規化。
我々はFedDIPの収束解析を行い、ベンチマークデータセットとDNNモデルを用いた最先端手法に対する総合的な性能と比較評価について報告する。
本研究では,feeddipがモデルスパーシティを制御するだけでなく,分散モデルトレーニング中にインクリメンタル正規化を採用する他のモデルプラニング手法と比較して,効率良く,あるいは優れた性能を実現することを示す。
コードは、https://github.com/EricLoong/feddip.comで入手できる。
関連論文リスト
- Improved Training Technique for Latent Consistency Models [18.617862678160243]
一貫性モデルは、単一のステップまたは複数のステップで高品質なサンプルを生成することができる。
画素空間と潜伏空間の統計的差異を解析し、潜伏データがしばしば非常にインパルス的な外れ値を含むことを発見した。
我々は,早期に拡散損失を導入し,さらに性能を高めるために最適な輸送(OT)結合を用いる。
論文 参考訳（メタデータ） (2025-02-03T15:25:58Z) - Graph Neural Networks and Differential Equations: A hybrid approach for data assimilation of fluid flows [0.0]
本研究では,グラフニューラルネットワーク(GNN)とReynolds-Averaged Navier Stokes(RANS)方程式を組み合わせた新しいハイブリッド手法を提案する。
その結果, 純粋なデータ駆動モデルと比較して, 再構成平均流の精度は著しく向上した。
論文 参考訳（メタデータ） (2024-11-14T14:31:52Z) - Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。
本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T19:28:35Z) - Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。
本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文 参考訳（メタデータ） (2024-03-05T09:18:29Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳（メタデータ） (2023-10-25T17:59:12Z) - OSP: Boosting Distributed Model Training with 2-stage Synchronization [24.702780532364056]
オーバーラップ並列化(OSP)と呼ばれる新しいモデル同期手法を提案する。
OSPは2段階同期方式で効率的な通信を実現し、Local-Gradientベースを使用する。
古いパラメータによる精度損失を避けるための修正(LGP)。
その結果、OSPは、一般的な同期モデルと比較して、精度を損なうことなく、最大50%のスループット向上を達成できることがわかった。
論文 参考訳（メタデータ） (2023-06-29T13:24:12Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-05T11:56:35Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳（メタデータ） (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。