論文の概要: Implicit Gradient Alignment in Distributed and Federated Learning

• arxiv url: http://arxiv.org/abs/2106.13897v1
• Date: Fri, 25 Jun 2021 22:01:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 13:58:20.377474
• Title: Implicit Gradient Alignment in Distributed and Federated Learning
• Title（参考訳）: 分散学習と連合学習における暗黙的勾配アライメント
• Authors: Yatin Dandi, Luis Barba, Martin Jaggi
• Abstract要約: 分散学習とフェデレーション学習においてグローバル収束を達成するための大きな障害は、クライアント間の勾配の誤調整である。 更新毎に任意の大きなバッチを使用できるようにして,同じ暗黙の正規化を誘導する新しいGradAlignアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 39.61762498388211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major obstacle to achieving global convergence in distributed and federated learning is the misalignment of gradients across clients, or mini-batches due to heterogeneity and stochasticity of the distributed data. One way to alleviate this problem is to encourage the alignment of gradients across different clients throughout training. Our analysis reveals that this goal can be accomplished by utilizing the right optimization method that replicates the implicit regularization effect of SGD, leading to gradient alignment as well as improvements in test accuracies. Since the existence of this regularization in SGD completely relies on the sequential use of different mini-batches during training, it is inherently absent when training with large mini-batches. To obtain the generalization benefits of this regularization while increasing parallelism, we propose a novel GradAlign algorithm that induces the same implicit regularization while allowing the use of arbitrarily large batches in each update. We experimentally validate the benefit of our algorithm in different distributed and federated learning settings.
• Abstract（参考訳）: 分散学習におけるグローバル収束を達成するための大きな障害は、分散データの不均一性と確率性によるクライアント間の勾配やミニバッチの誤調整である。 この問題を軽減するひとつの方法は、トレーニングを通じて異なるクライアント間の勾配のアライメントを促進することだ。 解析の結果,SGDの暗黙的正規化効果を再現する適切な最適化手法を用いることで,勾配アライメントとテスト精度の向上が実現可能であることがわかった。 sgdにおけるこの正規化の存在は、訓練中の異なるミニバッチの逐次使用に依存しているため、大きなミニバッチでのトレーニングでは本質的に欠如している。 並列性を高めつつ、この正規化の一般化の利点を得るため、各更新で任意に大きなバッチを利用可能にしつつ、同じ暗黙の正規化を誘導する新しいgradalignアルゴリズムを提案する。 分散学習とフェデレーション学習において,アルゴリズムの利点を実験的に検証した。

関連論文リスト

• Generalizable Person Re-identification via Balancing Alignment and Uniformity [22.328800139066914]
  ドメイン一般化可能な人物再識別(DG re-ID)は、分布シフトに頑健な識別表現を学習することを目的としている。 ある増補は、このタスクにおいて偏極効果を示し、分配性能を低下させながら、分配性能を向上させる。 本研究では,アライメントと統一性のバランスを維持することによって,この効果を効果的に軽減する新しい枠組みであるBAUを提案する。
  論文  参考訳（メタデータ） (2024-11-18T11:13:30Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Improving Generalization in Reinforcement Learning with Mixture Regularization [113.12412071717078]
  そこで本研究では,異なるトレーニング環境からの観察を混合してエージェントを訓練する,mixregという簡単なアプローチを提案する。 Mixregはデータの多様性をより効果的に向上し、よりスムーズなポリシーを学ぶのに役立つ。 その結果、mixregは、未確認テスト環境において確立されたベースラインを大きなマージンで上回る結果となった。
  論文  参考訳（メタデータ） (2020-10-21T08:12:03Z)
• Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
  ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。 これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
  論文  参考訳（メタデータ） (2020-08-13T15:34:01Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning [47.93365664380274]
  本稿では,フェデレーション学習などの分散機械学習問題を,コミュニケーション効率のよい方法で解くことを目的とする。 新しい勾配勾配勾配法 (SGD) のクラスが開発され、最近開発された遅延集約勾配法 (LAG) の一般化と見なすことができる。 LASGの重要なコンポーネントは、ダウンロード、アップロード、あるいは両方を保存できるグラデーション用に調整された新しいルールのセットである。
  論文  参考訳（メタデータ） (2020-02-26T08:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。