論文の概要: Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization

• arxiv url: http://arxiv.org/abs/2109.15292v1
• Date: Thu, 30 Sep 2021 17:36:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 14:58:09.611306
• Title: Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization
• Title（参考訳）: 非同期ロックフリー最適化における摂動確率反復の高速化
• Authors: Kaiwen Zhou, Anthony Man-Cho So, James Cheng
• Abstract要約: 我々は,従来の非加速法と同じ線形高速化条件を必要とすることを証明した。 我々の中心となるアルゴリズム発見は、スパース更新を伴う新しい加速SVRG変種である。
• 参考スコア（独自算出の注目度）: 47.03235286622727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that stochastic acceleration can be achieved under the perturbed iterate framework (Mania et al., 2017) in asynchronous lock-free optimization, which leads to the optimal incremental gradient complexity for finite-sum objectives. We prove that our new accelerated method requires the same linear speed-up condition as the existing non-accelerated methods. Our core algorithmic discovery is a new accelerated SVRG variant with sparse updates. Empirical results are presented to verify our theoretical findings.
• Abstract（参考訳）: 確率的加速は,並列ロックフリー最適化において摂動イテレートフレームワーク (mania et al., 2017) で実現され,有限サム目標に対する最適漸進的勾配複雑性をもたらす。 提案手法は,既存の非加速法と同じ線形速度アップ条件を必要とすることを実証する。 我々の中心となるアルゴリズム発見は、スパース更新を伴う新しい加速SVRG変種である。 理論的結果を検証するために実証実験を行った。

関連論文リスト

• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Reweighted Interacting Langevin Diffusions: an Accelerated Sampling Methodfor Optimization [28.25662317591378]
  本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。 提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
  論文  参考訳（メタデータ） (2023-01-30T03:48:20Z)
• Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees [10.984101749941471]
  並列および分散最適化アルゴリズムの解析に現れる非同期反復に対する新しい収束結果を紹介する。 結果は簡単に適用でき、非同期の度合いが反復の収束率にどのように影響するかを明確に見積もることができる。
  論文  参考訳（メタデータ） (2021-09-09T19:08:56Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• On The Verification of Neural ODEs with Stochastic Guarantees [14.490826225393096]
  時間連続型ニューラルネットワークの新興クラスであるneural odesは,グローバル最適化問題の集合を解いて検証できることを示す。 密なReachtubeを構築するための抽象化ベースのテクニックであるLagran Reachability(SLR)を紹介する。
  論文  参考訳（メタデータ） (2020-12-16T11:04:34Z)
• An Accelerated DFO Algorithm for Finite-sum Convex Functions [0.0]
  デリバティブフリーの最適化(DFO)は最近、機械学習において大きな勢いを増している。 本稿では、有限サム目的関数を用いて、アクセス可能なDFOアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-07-07T09:57:31Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。