論文の概要: FedRepOpt: Gradient Re-parameterized Optimizers in Federated Learning

• arxiv url: http://arxiv.org/abs/2409.15898v2
• Date: Wed, 25 Sep 2024 02:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 21:27:33.130540
• Title: FedRepOpt: Gradient Re-parameterized Optimizers in Federated Learning
• Title（参考訳）: FedRepOpt: フェデレーション学習における漸進的再パラメータ化最適化
• Authors: Kin Wai Lau, Yasar Abbas Ur Rehman, Pedro Porto Buarque de Gusmão, Lai-Man Po, Lan Ma, Yuyang Xie,
• Abstract要約: フェデレートラーニング(FL)は、エッジデバイス上で分散型に機械学習モデルをトレーニングするためのプライバシ保護手法として登場した。 モデルのサイズが大きくなるにつれて、エッジデバイス上の勾配更新の頻度が減少し、最適なトレーニング結果が得られます。 我々はこの問題に対処するため、FLのためにパラメータ化された勾配再パラメータであるFedRepOptを提案する。
• 参考スコア（独自算出の注目度）: 17.642826635563946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) has emerged as a privacy-preserving method for training machine learning models in a distributed manner on edge devices. However, on-device models face inherent computational power and memory limitations, potentially resulting in constrained gradient updates. As the model's size increases, the frequency of gradient updates on edge devices decreases, ultimately leading to suboptimal training outcomes during any particular FL round. This limits the feasibility of deploying advanced and large-scale models on edge devices, hindering the potential for performance enhancements. To address this issue, we propose FedRepOpt, a gradient re-parameterized optimizer for FL. The gradient re-parameterized method allows training a simple local model with a similar performance as a complex model by modifying the optimizer's gradients according to a set of model-specific hyperparameters obtained from the complex models. In this work, we focus on VGG-style and Ghost-style models in the FL environment. Extensive experiments demonstrate that models using FedRepOpt obtain a significant boost in performance of 16.7% and 11.4% compared to the RepGhost-style and RepVGG-style networks, while also demonstrating a faster convergence time of 11.7% and 57.4% compared to their complex structure.
• Abstract（参考訳）: フェデレートラーニング(FL)は、エッジデバイス上で分散型に機械学習モデルをトレーニングするためのプライバシ保護手法として登場した。 しかし、オンデバイスモデルは本質的に計算能力とメモリ制限に直面するため、潜在的には勾配が制限される可能性がある。 モデルのサイズが大きくなるにつれて、エッジデバイス上の勾配更新の頻度は減少し、最終的に特定のFLラウンドにおいて最適以下のトレーニング結果をもたらす。 これにより、エッジデバイスに高度な大規模モデルをデプロイする可能性を制限することができ、パフォーマンス向上の可能性を妨げている。 この問題に対処するため、FLの勾配再パラメータ化オプティマイザであるFedRepOptを提案する。 勾配再パラメータ化法では、複雑なモデルから得られたモデル固有のハイパーパラメータのセットに従って最適化器の勾配を変更することで、複雑なモデルと類似した性能の単純な局所モデルを訓練することができる。 本研究では,FL環境におけるVGGスタイルとゴーストスタイルのモデルに着目した。 大規模な実験により、FedRepOptを用いたモデルは、RepGhostスタイルやRepVGGスタイルのネットワークと比較して16.7%と11.4%のパフォーマンスが大幅に向上し、複雑な構造に比べて11.7%と57.4%の収束時間を示した。

関連論文リスト

• Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
  本稿では,FedPMT(Federated partial Model Training)を提案する。 したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。 実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2023-11-16T16:30:04Z)
• Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR [12.108696564200052]
  フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。 FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
  論文  参考訳（メタデータ） (2023-09-22T17:23:01Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• FLuID: Mitigating Stragglers in Federated Learning using Invariant Dropout [1.8262547855491458]
  Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。 結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。 Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。 Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
  論文  参考訳（メタデータ） (2023-07-05T19:53:38Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Towards More Efficient Federated Learning with Better Optimization Objects [1.126965032229697]
  Federated Learning(FL)は、プライバシ保護された機械学習パラダイムであり、データをアップロードすることなく、モデルを直接エッジでトレーニングすることができる。 FLが実用的に直面している最大の課題の1つは、エッジノードデータの均一性であり、収束速度を遅くし、モデルの性能を低下させる。 本稿では,過去に得られた全てのモデルのアグリゲーションを新たな制約対象として利用して,そのようなアルゴリズムの性能をさらに向上することを提案する。
  論文  参考訳（メタデータ） (2021-08-19T09:29:17Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。