論文の概要: Adaptive Parameterization of Deep Learning Models for Federated Learning
- arxiv url: http://arxiv.org/abs/2302.02949v1
- Date: Mon, 6 Feb 2023 17:30:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 15:42:44.017295
- Title: Adaptive Parameterization of Deep Learning Models for Federated Learning
- Title(参考訳): フェデレーション学習のためのディープラーニングモデルの適応パラメータ化
- Authors: Morten From Elvebakken, Alexandros Iosifidis, Lukas Esterle
- Abstract要約: Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。
トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。
フェデレートラーニングのための並列適応器を提案する。
- 参考スコア(独自算出の注目度): 85.82002651944254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning offers a way to train deep neural networks in a
distributed fashion. While this addresses limitations related to distributed
data, it incurs a communication overhead as the model parameters or gradients
need to be exchanged regularly during training. This can be an issue with large
scale distribution of learning asks and negate the benefit of the respective
resource distribution. In this paper, we we propose to utilise parallel
Adapters for Federated Learning. Using various datasets, we show that Adapters
can be applied with different Federated Learning techniques. We highlight that
our approach can achieve similar inference performance compared to training the
full model while reducing the communication overhead drastically. We further
explore the applicability of Adapters in cross-silo and cross-device settings,
as well as different non-IID data distributions.
- Abstract(参考訳): Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。
これは分散データに関する制限に対処するが、トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。
これは、学習要求の大規模分布の問題であり、各リソース分布の利点を否定することができる。
本稿では,並列アダプタを用いたフェデレーション学習を提案する。
さまざまなデータセットを使用することで、さまざまなフェデレーション学習技術でアダプタを適用できることを実証する。
提案手法は,通信オーバヘッドを大幅に削減しつつ,フルモデルのトレーニングに比べ,同様の推論性能を実現することができる。
さらに、クロスサイロおよびクロスデバイス設定におけるAdapterの適用性、および異なる非IIDデータ分散について検討する。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Memory-adaptive Depth-wise Heterogenous Federated Learning [24.13198329419849]
FLにFeDepthというメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて,全モデルをブロックに適応的に分解する。
CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
論文 参考訳(メタデータ) (2023-03-08T20:52:57Z) - Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。
本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。
我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文 参考訳(メタデータ) (2022-08-19T17:57:32Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳(メタデータ) (2022-05-19T03:32:03Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。
我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文 参考訳(メタデータ) (2022-02-04T14:12:31Z) - Flexible Parallel Learning in Edge Scenarios: Communication,
Computational and Energy Cost [20.508003076947848]
FogとIoTベースのシナリオでは、両方のアプローチを組み合わせる必要があることが多い。
フレキシブル並列学習(FPL)のためのフレームワークを提案し,データとモデル並列性を両立させる。
我々の実験は、最先端のディープネットワークアーキテクチャと大規模データセットを用いて行われ、FPLが計算コスト、通信オーバーヘッド、学習性能に優れたトレードオフを実現することを確認した。
論文 参考訳(メタデータ) (2022-01-19T03:47:04Z) - Weight Divergence Driven Divide-and-Conquer Approach for Optimal
Federated Learning from non-IID Data [0.0]
Federated Learningは、トレーニングデータを集中化することなく、分散デバイスに格納されたデータのトレーニングを可能にする。
本稿では,一般的なFedAvgアグリゲーションアルゴリズムの活用を可能にする,新しいDivide-and-Conquerトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-06-28T09:34:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。