Fugu-MT 論文翻訳(概要): Hierarchical Federated Learning with Momentum Acceleration in Multi-Tier Networks

論文の概要: Hierarchical Federated Learning with Momentum Acceleration in Multi-Tier Networks

arxiv url: http://arxiv.org/abs/2210.14560v1
Date: Wed, 26 Oct 2022 08:35:37 GMT
ステータス: 処理完了
システム内更新日: 2022-10-27 16:01:12.449778
Title: Hierarchical Federated Learning with Momentum Acceleration in Multi-Tier Networks
Title（参考訳）: 多層ネットワークにおける運動量加速度を用いた階層型連合学習
Authors: Zhengjie Yang, Sen Fu, Wei Bao, Dong Yuan, and Albert Y. Zomaya
Abstract要約: モーメント・アクセラレーションを用いた階層型フェデレーション学習(HierMo)を提案する。 HierMoは、トレーニングアクセラレーションにモーメントを適用する3階層のワーカエッジクラウドフェデレーション学習アルゴリズムである。
参考スコア（独自算出の注目度）: 38.04641907268331
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose Hierarchical Federated Learning with Momentum Acceleration (HierMo), a three-tier worker-edge-cloud federated learning algorithm that applies momentum for training acceleration. Momentum is calculated and aggregated in the three tiers. We provide convergence analysis for HierMo, showing a convergence rate of O(1/T). In the analysis, we develop a new approach to characterize model aggregation, momentum aggregation, and their interactions. Based on this result, {we prove that HierMo achieves a tighter convergence upper bound compared with HierFAVG without momentum}. We also propose HierOPT, which optimizes the aggregation periods (worker-edge and edge-cloud aggregation periods) to minimize the loss given a limited training time.
Abstract（参考訳）: 本稿では,トレーニング加速に運動量を適用した3階層の労働者エッジクラウドフェデレーション学習アルゴリズムであるHierMo(Hierarchical Federated Learning with Momentum Acceleration)を提案する。モーメントは計算され、3層に集約される。ヒエルモの収束解析を行い, o(1/t) の収束率を示す。分析では,モデル集約,運動量集約,それらの相互作用を特徴付ける新しい手法を開発した。この結果に基づいて、hiermo は運動量のない hierfavg よりも強い収束上限を達成することが証明される。また,トレーニング時間に制限がある場合の損失を最小限に抑えるために,集約期間を最適化するHierOPTを提案する。

関連論文リスト

Ordered Momentum for Asynchronous SGD [12.810976838406193]
本稿では,ASGDのための運動量(OrMo)と呼ばれる新しい手法を提案する。 OrMo では、運動量は指数に基づいて順に勾配を整理することで ASGD に組み込まれる。実験結果から,OrMoはASGDに比べてコンバージェンス性能がよいことが示された。
論文参考訳（メタデータ） (2024-07-27T11:35:19Z)
Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文参考訳（メタデータ） (2024-02-21T16:11:47Z)
Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise [16.12834917344859]
重球運動量法は加速収束を提供し、大きなバッチ設定でうまく機能するはずだと広く推測されている。重球運動量は, SGDの偏差項の加速収束率を$tildemathcalO(sqrtkappa)$で達成し, ほぼ最適収束率を達成できることを示した。つまり、重い球運動量を持つSGDは、分散機械学習やフェデレーション学習のような大規模なバッチ設定で有用である。
論文参考訳（メタデータ） (2023-12-22T09:58:39Z)
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks [12.763567932588591]
ニューラルネットワークのトレーニングにおける勾配勾配勾配の収束に関する現状分析は、損失景観の特性を特徴づけることに重点を置いている。我々は、パラメータのサブセットだけが強い凸性を満たす新しい目的関数のクラスを考え、理論においてネステロフの運動量加速度を示す。我々は、問題クラスの2つの実現法を提供し、そのうちの1つはディープ ReLU ネットワークであり、これは、私たちの知識を最大限に活用するために、非自明なニューラルネットワークアーキテクチャに対する加速収束率を証明する最初の方法である。
論文参考訳（メタデータ） (2023-06-13T19:55:46Z)
Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文参考訳（メタデータ） (2023-06-09T15:38:25Z)
Federated TD Learning over Finite-Rate Erasure Channels: Linear Speedup under Markovian Sampling [17.870440210358847]
エージェントが中央アグリゲータを介して通信し、共通ポリシの評価を迅速化するフェデレートポリシ評価問題について検討する。 FLにおける典型的な通信制約を捉えるために、ベルヌーイ消去モデルに基づいてパケットをドロップできる有限容量アップリンクチャネルを考える。本研究は, マルチエージェントおよびフェデレーション強化学習における非漸近的効果の分析を初めて行ったものである。
論文参考訳（メタデータ） (2023-05-14T08:48:02Z)
AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文参考訳（メタデータ） (2023-03-01T15:12:42Z)
Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文参考訳（メタデータ） (2022-10-12T09:12:59Z)
Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
本稿では,そのようなモデル平均化手法のモーメント法を提案する。このような運動量法の収束特性とスケーリング特性を解析する。実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
論文参考訳（メタデータ） (2021-10-01T19:23:18Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。