論文の概要: A Variational Perspective on High-Resolution ODEs
- arxiv url: http://arxiv.org/abs/2311.02002v1
- Date: Fri, 3 Nov 2023 16:00:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 13:30:23.860522
- Title: A Variational Perspective on High-Resolution ODEs
- Title(参考訳): 高分解能ODEの変分的展望
- Authors: Hoomaan Maskan, Konstantinos C. Zygalakis, Alp Yurtsever
- Abstract要約: 強制オイラー・ラグランジュ方程式を用いた凸関数の制約のない最小化を考える。
ネステロフの加速勾配法を用いて、勾配ノルム最小化のための高速収束率を求める。
- 参考スコア(独自算出の注目度): 10.036727981085223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider unconstrained minimization of smooth convex functions. We propose
a novel variational perspective using forced Euler-Lagrange equation that
allows for studying high-resolution ODEs. Through this, we obtain a faster
convergence rate for gradient norm minimization using Nesterov's accelerated
gradient method. Additionally, we show that Nesterov's method can be
interpreted as a rate-matching discretization of an appropriately chosen
high-resolution ODE. Finally, using the results from the new variational
perspective, we propose a stochastic method for noisy gradients. Several
numerical experiments compare and illustrate our stochastic algorithm with
state of the art methods.
- Abstract(参考訳): 我々は滑らかな凸関数の無拘束最小化を考える。
本稿では,高分解能ODEの研究を可能にする強制オイラー・ラグランジュ方程式を用いた新しい変分視点を提案する。
これにより、ネステロフの加速度勾配法を用いた勾配ノルム最小化の高速収束率が得られる。
さらに、Nesterovの手法は、適切に選択された高分解能ODEのレートマッチング離散化として解釈できることを示す。
最後に,新しい変分的視点から得られた結果を用いて,雑音勾配の確率的手法を提案する。
いくつかの数値実験により, 確率的アルゴリズムと最先端の手法を比較し, 解説した。
関連論文リスト
- Variance reduction techniques for stochastic proximal point algorithms [5.871583927216651]
本稿では,SVRG,SAGAの近位バージョンと,そのスムーズな凸関数に対する変種について紹介する。
数値実験により, 勾配法に対する近似分散低減法の利点を実証した。
論文 参考訳(メタデータ) (2023-08-18T05:11:50Z) - First Order Methods with Markovian Noise: from Acceleration to
Variational Inequalities [114.69800889030142]
本稿では,一階変分法の理論解析のための統一的アプローチを提案する。
提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。
凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
論文 参考訳(メタデータ) (2023-05-25T11:11:31Z) - Understanding Accelerated Gradient Methods: Lyapunov Analyses and
Hamiltonian Assisted Interpretations [1.0152838128195465]
我々は、滑らかな凸関数と強凸関数を最小化するために、以前研究したよりも一般的な1次アルゴリズムの2つのクラスを定式化する。
我々は、新しい離散リアプノフ解析を通じて、強い凸条件と一般的な凸条件でネステロフの手法と一致する加速収束率を達成するのに十分な条件を確立する。
我々は、ハミルトン関数といくつかの解釈可能な操作を直接ベースとした、ハミルトン支援勾配法と呼ばれる新しい離散アルゴリズムのクラスを提案する。
論文 参考訳(メタデータ) (2023-04-20T03:03:30Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳(メタデータ) (2022-02-26T19:10:48Z) - Nesterov Accelerated Shuffling Gradient Method for Convex Optimization [15.908060383231371]
このアルゴリズムは,統一シャッフル方式を用いて,$mathcalO (1/T)$の改善率を示す。
我々の収束解析は有界領域や有界勾配条件に関する仮定を必要としない。
数値シミュレーションはアルゴリズムの効率を実証する。
論文 参考訳(メタデータ) (2022-02-07T21:23:17Z) - A Closed Loop Gradient Descent Algorithm applied to Rosenbrock's
function [0.0]
本稿では,非拘束慣性減衰の勾配降下アルゴリズムとして応用できる勾配系の新しい適応手法を提案する。
また、リアプノフ安定性解析を用いて、連続数値時間バージョンの性能を実証する。
論文 参考訳(メタデータ) (2021-08-29T17:25:24Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Quantized Variational Inference [6.09170287691728]
ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。
量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
論文 参考訳(メタデータ) (2020-11-04T13:22:50Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳(メタデータ) (2020-06-11T18:49:06Z) - Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient
Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。
この場合、最先端の結果を上回る新たな複雑さが証明される。
本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文 参考訳(メタデータ) (2020-05-21T17:05:27Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳(メタデータ) (2020-03-11T13:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。