論文の概要: A fast randomized incremental gradient method for decentralized non-convex optimization

• arxiv url: http://arxiv.org/abs/2011.03853v3
• Date: Thu, 30 Sep 2021 19:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 22:23:50.938912
• Title: A fast randomized incremental gradient method for decentralized non-convex optimization
• Title（参考訳）: 分散非凸最適化のための高速ランダム化漸進勾配法
• Authors: Ran Xin and Usman A. Khan and Soummya Kar
• Abstract要約: 我々は,GT-SAGA GTSAGAと呼ばれる単一時間ランダム化手法を,バッチ・ノン有限サム文脈問題に対して解析する。 GT-SAGAのほぼ確実に1次勾配定常点への収束を示す。
• 参考スコア（独自算出の注目度）: 19.540926205375857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study decentralized non-convex finite-sum minimization problems described over a network of nodes, where each node possesses a local batch of data samples. In this context, we analyze a single-timescale randomized incremental gradient method, called GT-SAGA. GT-SAGA is computationally efficient as it evaluates one component gradient per node per iteration and achieves provably fast and robust performance by leveraging node-level variance reduction and network-level gradient tracking. For general smooth non-convex problems, we show the almost sure and mean-squared convergence of GT-SAGA to a first-order stationary point and further describe regimes of practical significance where it outperforms the existing approaches and achieves a network topology-independent iteration complexity respectively. When the global function satisfies the Polyak-Lojaciewisz condition, we show that GT-SAGA exhibits linear convergence to an optimal solution in expectation and describe regimes of practical interest where the performance is network topology-independent and improves upon the existing methods. Numerical experiments are included to highlight the main convergence aspects of GT-SAGA in non-convex settings.
• Abstract（参考訳）: 本研究では,ノードのネットワーク上に記述された分散非凸有限サム最小化問題について検討する。 この文脈では、GT-SAGAと呼ばれる単一時間スケールのランダム化インクリメンタル勾配法を解析する。 gt-sagaは,ノードレベルの分散低減とネットワークレベルの勾配追跡を活用することで,1イテレーション当たりのノードごとの1つのコンポーネント勾配を評価し,実現可能な高速かつ堅牢なパフォーマンスを実現するため,計算効率が向上する。 一般のスムーズな非凸問題に対して、GT-SAGAの1次定常点へのほぼ確実かつ平均2乗収束を示し、既存のアプローチを上回り、ネットワークトポロジに依存しない反復複雑性をそれぞれ達成する実践的重要性の状況を記述する。 大域関数がpolyak-lojaciewisz条件を満たすとき、gt-sagaは期待する最適解への線形収束を示し、性能がネットワークトポロジー非依存であり、既存の方法により改善される実用的利害関係を記述する。 非凸状態におけるGT-SAGAの主な収束面を明らかにするための数値実験を含む。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks [1.14219428942199]
  本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
  論文  参考訳（メタデータ） (2022-01-28T11:30:06Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• A Retrospective Approximation Approach for Smooth Stochastic Optimization [0.2867517731896504]
  グラディエント(グラディエント、英: Gradient、SG)とは、最適化(SO)問題をスムーズ(ノンフィクション)な目標値で解くための補足的反復手法である。
  論文  参考訳（メタデータ） (2021-03-07T16:29:36Z)
• A hybrid variance-reduced method for decentralized stochastic non-convex optimization [15.447966950703947]
  textttGTHSGDアルゴリズムは、グローバルな勾配を追跡するためにネットワークを実装している。 textttGTHSGDは、必要なエラートレランス$epsilon$が十分小さいときに、ネットワークの複雑さを$O(n-1)$にします。
  論文  参考訳（メタデータ） (2021-02-12T20:13:05Z)
• Push-SAGA: A decentralized stochastic algorithm with variance reduction over directed graphs [18.53372294049107]
  Push-SAGAはノードの有向ネットワークに対する有限一階法のための分散一階法である。 我々はPush-SAGAが滑らかで凸な問題に対して線形収束を実現することを示す。
  論文  参考訳（メタデータ） (2020-08-13T18:52:17Z)
• An improved convergence analysis for decentralized online stochastic non-convex optimization [17.386715847732468]
  本稿では,GT-Loakjasiewics(GT-Loakjasiewics)と呼ばれる手法が,GT-Loakjasiewics(GT-Loakjasiewics)が現在の収束率を満たすことを示す。 結果はすぐに適用できるだけでなく、現在知られている最高の収束率にも適用できる。
  論文  参考訳（メタデータ） (2020-08-10T15:29:13Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。