論文の概要: Rethinking the initialization of Momentum in Federated Learning with Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2411.19798v1
• Date: Fri, 29 Nov 2024 16:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:18.856925
• Title: Rethinking the initialization of Momentum in Federated Learning with Heterogeneous Data
• Title（参考訳）: 不均一データを用いたフェデレーション学習におけるモメンタムの初期化の再考
• Authors: Chenguang Xiao, Shuo Wang,
• Abstract要約: 本研究では,局所初期化に使用する推定運動量を計算する新しい手法を提案する。 提案手法はReversed Momentum Federated Learning (RMFL) と命名される。
• 参考スコア（独自算出の注目度）: 5.922172844641853
• License:
• Abstract: Data Heterogeneity is a major challenge of Federated Learning performance. Recently, momentum based optimization techniques have beed proved to be effective in mitigating the heterogeneity issue. Along with the model updates, the momentum updates are transmitted to the server side and aggregated. Therefore, the local training initialized with a global momentum is guided by the global history of the gradients. However, we spot a problem in the traditional cumulation of the momentum which is suboptimal in the Federated Learning systems. The momentum used to weight less on the historical gradients and more on the recent gradients. This however, will engage more biased local gradients in the end of the local training. In this work, we propose a new way to calculate the estimated momentum used in local initialization. The proposed method is named as Reversed Momentum Federated Learning (RMFL). The key idea is to assign exponentially decayed weights to the gradients with the time going forward, which is on the contrary to the traditional momentum cumulation. The effectiveness of RMFL is evaluated on three popular benchmark datasets with different heterogeneity levels.
• Abstract（参考訳）: データ不均一性は、フェデレートラーニングのパフォーマンスの大きな課題である。 近年,運動量に基づく最適化手法が不均一性問題を緩和するのに有効であることが証明されている。 モデル更新とともに、モーメント更新はサーバ側に送信され、集約される。 したがって、大域的な運動量で初期化された局所的な訓練は、勾配のグローバルな歴史によって導かれる。 しかし,フェデレーテッド・ラーニング・システムでは,従来のモーメントの累積が最適ではないことが問題となっている。 運動量は、過去の勾配よりも、最近の勾配よりも重くなっていた。 しかし、これは局所的な訓練の終わりにより偏りのある局所的な勾配を伴います。 本研究では,局所初期化に使用する推定運動量を計算する新しい手法を提案する。 提案手法は,Reversed Momentum Federated Learning (RMFL) と名付けられた。 鍵となる考え方は、指数関数的に減衰した重みを時間とともに勾配に割り当てることであり、これは従来の運動量累積とは対照的である。 RMFLの有効性は、不均一レベルが異なる3つの一般的なベンチマークデータセットで評価される。

関連論文リスト

• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• The Marginal Value of Momentum for Small Learning Rate SGD [20.606430391298815]
  モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。 実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
  論文  参考訳（メタデータ） (2023-07-27T21:01:26Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• RIOT: Recursive Inertial Odometry Transformer for Localisation from Low-Cost IMU Measurements [5.770538064283154]
  我々は,慣性データにおける空間的特徴と長距離依存性の両方を自己注意を利用して捉えた,不変な深部慣性音韻のポーズのための2つのエンドツーエンドフレームワークを提案する。 我々は、同じデータで同じ方法で訓練されたカスタム2層Gated Recurrent Unitに対するアプローチを評価し、複数の異なるユーザ、デバイス、アクティビティに対してそれぞれのアプローチをテストした。
  論文  参考訳（メタデータ） (2023-03-03T00:20:01Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Towards understanding how momentum improves generalization in deep learning [44.441873298005326]
  学習課題のいくつかにおいて,運動量による勾配降下(GD+M)は,勾配降下(GD)に比べて一般化が著しく向上することを示した。 分析の主要な洞察は、サンプルがいくつかの特徴を共有しながらマージンが異なるデータセットでは、モーメントが有益であるということだ。
  論文  参考訳（メタデータ） (2022-07-13T02:39:08Z)
• Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
  本稿では,そのようなモデル平均化手法のモーメント法を提案する。 このような運動量法の収束特性とスケーリング特性を解析する。 実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T19:23:18Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• Reconciling Modern Deep Learning with Traditional Optimization Analyses: The Intrinsic Learning Rate [36.83448475700536]
  最近の研究は、今日のディープラーニングにおけるバッチ正規化の使用が、従来の最適化の観点から遠く離れていることを示唆している。 本稿では,正規化された網の振舞いが従来の視点から逸脱する他の方法を強調する。 我々はこれをFast Equilibrium Conjectureと呼び、バッチ正規化が有効である理由の鍵となることを示唆する。
  論文  参考訳（メタデータ） (2020-10-06T17:58:29Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。