論文の概要: Decentralized gradient methods: does topology matter?

• arxiv url: http://arxiv.org/abs/2002.12688v1
• Date: Fri, 28 Feb 2020 12:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:56:06.391211
• Title: Decentralized gradient methods: does topology matter?
• Title（参考訳）: 分散勾配法:トポロジーは重要か?
• Authors: Giovanni Neglia and Chuan Xu and Don Towsley and Gianmarco Calbi
• Abstract要約: 本稿では,各作業員が最適パラメータベクトルの局所的推定値を維持し,その近傍から得られた推定値を平均化し,その局所的データセットに基づいて補正を行うことにより反復的に更新する方法について述べる。 理論的には、労働者のコミュニケーショントポロジが収束に必要なエポックの数に強い影響を与えることが示唆されているが、以前の実験では反対の結論を示している。 この論文は、この明らかな矛盾に光を当て、通信遅延がなくても、疎らかなトポロジがより早く収束することを示す。
• 参考スコア（独自算出の注目度）: 23.1803761184887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consensus-based distributed optimization methods have recently been advocated as alternatives to parameter server and ring all-reduce paradigms for large scale training of machine learning models. In this case, each worker maintains a local estimate of the optimal parameter vector and iteratively updates it by averaging the estimates obtained from its neighbors, and applying a correction on the basis of its local dataset. While theoretical results suggest that worker communication topology should have strong impact on the number of epochs needed to converge, previous experiments have shown the opposite conclusion. This paper sheds lights on this apparent contradiction and show how sparse topologies can lead to faster convergence even in the absence of communication delays.
• Abstract（参考訳）: 近年,機械学習モデルの大規模学習のためのパラメータサーバやリングオールリデュースパラダイムの代替として,コンセンサスに基づく分散最適化手法が提唱されている。 この場合、各ワーカーは最適パラメータベクトルの局所的な推定を維持し、その近傍から得られた推定値を平均化し、局所データセットに基づいて補正することで反復的に更新する。 理論的には、ワーカーコミュニケーショントポロジーは収束に必要なエポック数に強い影響を与えるべきであるが、以前の実験は反対の結論を示している。 本稿では、この明らかな矛盾に光を当て、通信遅延がなくてもスパーストポロジーがより高速に収束することを示す。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Straggler-Resilient Distributed Machine Learning with Dynamic Backup Workers [9.919012793724628]
  作業者毎のバックアップ作業者数を決定するための完全分散アルゴリズムを提案する。 我々のアルゴリズムは収束の線形スピードアップを達成する(すなわち、労働者数に対して収束性能が線形に増加する)。
  論文  参考訳（メタデータ） (2021-02-11T21:39:53Z)
• Numerical Comparison of Neighbourhood Topologies in Particle Swarm Optimization [0.0]
  本稿では,5つの異なる近傍トポロジと4つの異なる係数の設定で表される性能を比較した。 最適位相は問題に依存しているにもかかわらず、相互接続の数を持つ動的近傍が望ましいと考えられる。
  論文  参考訳（メタデータ） (2021-01-25T09:23:55Z)
• Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
  複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。 本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。 本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
  論文  参考訳（メタデータ） (2020-10-21T17:39:52Z)
• A Partial Regularization Method for Network Compression [0.0]
  本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。 実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。 驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
  論文  参考訳（メタデータ） (2020-09-03T00:38:27Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。