論文の概要: Stochastic gradient algorithms from ODE splitting perspective

• arxiv url: http://arxiv.org/abs/2004.08981v1
• Date: Sun, 19 Apr 2020 22:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 00:05:40.811494
• Title: Stochastic gradient algorithms from ODE splitting perspective
• Title（参考訳）: ODE分割の観点からの確率勾配アルゴリズム
• Authors: Daniil Merkulov, Ivan Oseledets
• Abstract要約: 我々は、ODEの近似解の分割スキームに遡る最適化に関する異なる見解を示す。 そこで本研究では, ODE の勾配一階分割方式と降下アプローチの関連性について述べる。 我々は、機械学習アプリケーションにインスパイアされた分割の特殊なケースを考察し、それに対するグローバルスプリッティングエラーに新たな上限を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a different view on stochastic optimization, which goes back to the splitting schemes for approximate solutions of ODE. In this work, we provide a connection between stochastic gradient descent approach and first-order splitting scheme for ODE. We consider the special case of splitting, which is inspired by machine learning applications and derive a new upper bound on the global splitting error for it. We present, that the Kaczmarz method is the limit case of the splitting scheme for the unit batch SGD for linear least squares problem. We support our findings with systematic empirical studies, which demonstrates, that a more accurate solution of local problems leads to the stepsize robustness and provides better convergence in time and iterations on the softmax regression problem.
• Abstract（参考訳）: 我々は、ODEの近似解の分割スキームに遡る確率最適化に関する異なる見解を示す。 本稿では,確率的勾配降下アプローチとodeの1次分割スキームとの関係について述べる。 本稿では,機械学習アプリケーションから着想を得た分割の特別な場合を考察し,大域的分割誤差の新しい上限を導出する。 本稿では,線形最小二乗問題に対する単位バッチsgdの分割スキームの極限ケースとしてカツマルツ法を提案する。 我々は,局所的問題のより正確な解法がロバスト性の段階化につながり,ソフトマックス回帰問題に対する時間とイテレーションの収束性が向上することを示す,系統的実証研究で知見を裏付ける。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
  本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。 既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。 我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
  論文  参考訳（メタデータ） (2023-06-05T05:21:01Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization [4.970364068620608]
  我々は,勾配オラクルによって出力される雑音の推定値を改善するために,凸性およびL平滑性を利用する。 問合せ点の数と近さの増加は、より良い勾配推定に繋がることを示す。 また、SGD、Adam、STRSAGAといった既存のアルゴリズムにCOCOをプラグインすることで、バニラ設定にもCOCOを適用します。
  論文  参考訳（メタデータ） (2021-09-07T17:21:09Z)
• Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers [4.568911586155097]
  本稿では、包含問題に対する単調アルゴリズムの射影分割(PS)系列の新たな変種について述べる。 勾配降下上昇に伴う収束問題なしに、ロバストMLのような応用で生じるmin-maxおよび非協調ゲーム定式化を解くことができる。
  論文  参考訳（メタデータ） (2021-06-24T14:48:43Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• An Optimal Multistage Stochastic Gradient Method for Minimax Problems [8.615625517708324]
  滑らかかつ強凸な凹凸配置におけるミニマックス最適化問題について検討する。 まず, 定常ステップサイズでグラディエントDescent Ascent (GDA) 法を解析した。 本稿では,学習速度の減衰スケジュールを多段階に設定した多段階型GDAを提案する。
  論文  参考訳（メタデータ） (2020-02-13T18:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。