論文の概要: Multi-consensus Decentralized Accelerated Gradient Descent

• arxiv url: http://arxiv.org/abs/2005.00797v1
• Date: Sat, 2 May 2020 11:10:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 12:06:03.643611
• Title: Multi-consensus Decentralized Accelerated Gradient Descent
• Title（参考訳）: マルチコンセンサス分散加速グラディエント蛍光
• Authors: Haishan Ye, Luo Luo, Ziang Zhou, Tong Zhang
• Abstract要約: 分散最適化問題は、大規模機械学習、センサーネットワーク、制御理論に応用されている。 本稿では,既知の下界を条件数対数係数に整合させて,ほぼ最適な通信複雑性を実現できる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 31.426871609775315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the decentralized optimization problem, which has applications in large scale machine learning, sensor networks, and control theory. We propose a novel algorithm that can achieve near optimal communication complexity, matching the known lower bound up to a logarithmic factor of the condition number of the problem. Our theoretical results give affirmative answers to the open problem on whether there exists an algorithm that can achieve a communication complexity (nearly) matching the lower bound depending on the global condition number instead of the local one. Moreover, the proposed algorithm achieves the optimal computation complexity matching the lower bound up to universal constants. Furthermore, to achieve a linear convergence rate, our algorithm \emph{doesn't} require the individual functions to be (strongly) convex. Our method relies on a novel combination of known techniques including Nesterov's accelerated gradient descent, multi-consensus and gradient-tracking. The analysis is new, and may be applied to other related problems. Empirical studies demonstrate the effectiveness of our method for machine learning applications.
• Abstract（参考訳）: 本稿では,大規模機械学習,センサネットワーク,制御理論などに適用可能な分散最適化問題について考察する。 本稿では,既知の下界を条件数の対数係数に整合させて,ほぼ最適な通信複雑性を実現できる新しいアルゴリズムを提案する。 我々の理論的結果は,局所的な問題ではなく,大域的な条件数に依存する下界に一致する通信複雑性(ほぼ)を達成できるアルゴリズムが存在するかどうかに関して,オープンな問題に対して肯定的な回答を与える。 さらに,提案アルゴリズムは,下界を普遍定数に整合させる最適計算複雑性を実現する。 さらに、線形収束率を達成するために、アルゴリズム \emph{doesn't} は、個々の関数が(強く)凸であることを要求する。 本手法は,Nesterovの加速勾配降下,マルチコンセンサス,勾配追従といった新しい手法の組み合わせに依存する。 解析は新しいもので、他の関連する問題にも適用できる。 実験により,本手法の機械学習への応用が実証された。

関連論文リスト

• Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
  本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。 提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:53:28Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Approaching Globally Optimal Energy Efficiency in Interference Networks via Machine Learning [22.926877147296594]
  本研究は,マルチセル無線ネットワークにおけるエネルギー効率(EE)を最適化する機械学習手法を提案する。 その結果,この手法は分岐計算テストにより最適値に近いEEを達成できることが判明した。
  論文  参考訳（メタデータ） (2022-11-25T08:36:34Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• A Penalty-Based Method for Communication-Efficient Decentralized Bilevel Programming [14.35928967799696]
  本稿では,分散化ネットワーク上での双方向プログラミング問題の解法として,ペナルティ関数に基づく分散化アルゴリズムを提案する。 提案アルゴリズムの重要な特徴は,ペナルティ関数の過度勾配の推定である。 我々の理論的枠組みは、様々な凸条件下での原問題の最適解に漸近的でない収束を保証する。
  論文  参考訳（メタデータ） (2022-11-08T08:39:30Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning [12.069630105460766]
  AltGDA(Alternating Table-descentascent)は、様々な機械学習アプリケーションで広く使われている計算最適化アルゴリズムである。 本論文では,最小限の最適化問題を解くために,単一ループの高速なループ勾配計算アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-22T04:33:27Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
  局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。 提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
  論文  参考訳（メタデータ） (2020-12-04T15:46:30Z)
• Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
  通信効率のよい分散最適化の問題を考える。 特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。 実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-10T13:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。