論文の概要: Variance reduction for Riemannian non-convex optimization with batch size adaptation

• arxiv url: http://arxiv.org/abs/2007.01494v1
• Date: Fri, 3 Jul 2020 04:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 05:02:50.476024
• Title: Variance reduction for Riemannian non-convex optimization with batch size adaptation
• Title（参考訳）: バッチサイズ適応によるリーマン非凸最適化の分散低減
• Authors: Andi Han, Junbin Gao
• Abstract要約: 分散実験はバッチ降下を加速する技術として人気がある。 この戦略は,有限サム条件とオンライン条件の両方で,全収束関数の低次複雑度を実現することができることを示す。 具体的には、R-SRG が R-IDER とほぼ同値であることを証明する。
• 参考スコア（独自算出の注目度）: 36.79189106909088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variance reduction techniques are popular in accelerating gradient descent and stochastic gradient descent for optimization problems defined on both Euclidean space and Riemannian manifold. In this paper, we further improve on existing variance reduction methods for non-convex Riemannian optimization, including R-SVRG and R-SRG/R-SPIDER with batch size adaptation. We show that this strategy can achieve lower total complexities for optimizing both general non-convex and gradient dominated functions under both finite-sum and online settings. As a result, we also provide simpler convergence analysis for R-SVRG and improve complexity bounds for R-SRG under finite-sum setting. Specifically, we prove that R-SRG achieves the same near-optimal complexity as R-SPIDER without requiring a small step size. Empirical experiments on a variety of tasks demonstrate effectiveness of proposed adaptive batch size scheme.
• Abstract（参考訳）: 変数還元技術はユークリッド空間とリーマン多様体の両方で定義される最適化問題に対して、勾配降下と確率勾配降下の加速に人気がある。 本稿では,R-SVRGやR-SRG/R-SPIDERを含む非凸リーマン最適化のための既存の分散低減手法をさらに改良する。 この戦略は, 一般の非凸関数と勾配支配関数の両方を有限和とオンラインの両方で最適化するために, 全体の複雑さを低くできることを示す。 その結果、R-SVRGに対してより単純な収束解析を提供し、有限サム条件下でのR-SRGの複雑性境界を改善する。 具体的には、R-SRGが小さなステップサイズを必要とせず、R-SPIDERと同じ近似複雑性を実現することを証明する。 各種タスクの実証実験により,適応型バッチサイズスキームの有効性が示された。

関連論文リスト

• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• Iterative Reweighted Least Squares Networks With Convergence Guarantees for Solving Inverse Imaging Problems [12.487990897680422]
  解析に基づく画像正規化における画像再構成タスクの新しい最適化手法を提案する。 そのような正規化子は $ell_pp$-vector および $mathcalS_pp$ Schatten-matrix 準ノルムの重み付き拡張に対応するポテンシャル関数を用いてパラメータ化する。 提案する最小化戦略の収束保証により,メモリ効率の高い暗黙バックプロパゲーション方式により,そのような最適化を成功させることができることを示す。
  論文  参考訳（メタデータ） (2023-08-10T17:59:46Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
  適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。 有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。 このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
  論文  参考訳（メタデータ） (2021-02-19T01:17:15Z)
• On Stochastic Variance Reduced Gradient Method for Semidefinite Optimization [14.519696724619074]
  SVRG法は最も有効な方法の1つと考えられている。 半定型プログラミング(SDP)に適応する場合、理論と実践の間には大きなギャップがある 本稿では,このギャップを,半定値最適化に適応したオプションIを用いて,元のSVRGの新たな変種を利用して埋める。
  論文  参考訳（メタデータ） (2021-01-01T13:55:32Z)
• Variance Reduction on Adaptive Stochastic Mirror Descent [23.451652399157002]
  分散低減は、ほとんどの適応ミラー降下アルゴリズムのSFO複雑性を減少させ、それらの収束を加速させることを示す。 深層学習における実験を用いてクレームの有効性を確認します。
  論文  参考訳（メタデータ） (2020-12-26T15:15:51Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。