論文の概要: An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2008.09055v1
• Date: Thu, 20 Aug 2020 16:15:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 04:00:18.116364
• Title: An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
• Title（参考訳）: 確率的複合非凸最適化のための最適ハイブリッド分散変換アルゴリズム
• Authors: Deyi Liu, Lam M. Nguyen, and Quoc Tran-Dinh
• Abstract要約: そこで本研究では, [7] におけるハイブリッド分散法の新しい変種を提案し, 標準仮定の下での共通合成非還元問題の解法を提案する。 我々は, [7] に導入した独立な非バイアス推定器を, 同一試料の勾配によって置き換える。 私たちの分析は基本的に[7]にインスパイアされていますが、2つの異なるステップサイズを使用しません。
• 参考スコア（独自算出の注目度）: 23.355249183979907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this note we propose a new variant of the hybrid variance-reduced proximal gradient method in [7] to solve a common stochastic composite nonconvex optimization problem under standard assumptions. We simply replace the independent unbiased estimator in our hybrid- SARAH estimator introduced in [7] by the stochastic gradient evaluated at the same sample, leading to the identical momentum-SARAH estimator introduced in [2]. This allows us to save one stochastic gradient per iteration compared to [7], and only requires two samples per iteration. Our algorithm is very simple and achieves optimal stochastic oracle complexity bound in terms of stochastic gradient evaluations (up to a constant factor). Our analysis is essentially inspired by [7], but we do not use two different step-sizes.
• Abstract（参考訳）: 本稿では, [7] におけるハイブリッド分散誘導近位勾配法の新しい変種を提案し, 標準仮定の下での共通確率的合成非凸最適化問題を解く。 我々は、[7]で導入されたハイブリッド-SARAH推定器の独立な非バイアス推定器を、同じ試料で評価された確率勾配によって置き換え、[2]で導入された同一運動量-SARAH推定器に置き換える。 これにより、1イテレーションあたりの確率的勾配を [7] と比較して保存でき、1イテレーションにつき2つのサンプルしか必要ありません。 我々のアルゴリズムは非常に単純で、確率的勾配評価(定数係数まで)の観点から、最適な確率的オラクル複雑性を実現する。 私たちの分析は基本的に[7]にインスパイアされていますが、2つの異なるステップサイズを使用しません。

関連論文リスト

• On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization [10.36447258513813]
  我々は、強化学習(RL)における既存の問題の多くを網羅する非文献設定における正規化期待報酬最適化問題を考える。 特に、標準条件下では、$O(epsilon-4)$サンプルを$epsilon$-stationaryポイントに含めることが示されている。 分析の結果,サンプルの複雑さは,追加条件下では$O(epsilon-4)$から$O(epsilon-3)$に改善できることがわかった。
  論文  参考訳（メタデータ） (2024-01-23T06:01:29Z)
• A Homogenization Approach for Gradient-Dominated Stochastic Optimization [6.1144486886258065]
  勾配支配を享受する関数に対する同次二階降下法(SHSOD)を提案する。 以上の結果から,SHSODMは勾配優先最適化法において,他の2次法で達成された最もよく知られたサンプルの複雑さと一致していることがわかった。
  論文  参考訳（メタデータ） (2023-08-21T11:03:04Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Incremental Without Replacement Sampling in Nonconvex Optimization [0.0]
  経験的リスクに対する最小限の分解法は、一般に近似設定で分析される。 一方、このような手法の現代的な実装は漸進的であり、それらは置換せずにサンプリングに依存しており、利用可能な分析は極めて少ない。 我々は、多変数な漸進勾配スキームを解析することにより、後者の変分に対する収束保証を提供する。
  論文  参考訳（メタデータ） (2020-07-15T09:17:29Z)
• A Unified Convergence Analysis for Shuffling-Type Gradient Methods [32.8097849940763]
  有限項問題を解くための一般化勾配シャッフル型法に対する統一収束解析を提案する。 以上の結果から,特定の神経シャッフル変種でのトレーニングに適する選択が示唆された。
  論文  参考訳（メタデータ） (2020-02-19T15:45:41Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。