Fugu-MT 論文翻訳(概要): A Variational Perspective on High-Resolution ODEs

論文の概要: A Variational Perspective on High-Resolution ODEs

arxiv url: http://arxiv.org/abs/2311.02002v1
Date: Fri, 3 Nov 2023 16:00:40 GMT
ステータス: 処理完了
システム内更新日: 2023-11-06 13:30:23.860522
Title: A Variational Perspective on High-Resolution ODEs
Title（参考訳）: 高分解能ODEの変分的展望
Authors: Hoomaan Maskan, Konstantinos C. Zygalakis, Alp Yurtsever
Abstract要約: 強制オイラー・ラグランジュ方程式を用いた凸関数の制約のない最小化を考える。ネステロフの加速勾配法を用いて、勾配ノルム最小化のための高速収束率を求める。
参考スコア（独自算出の注目度）: 10.036727981085223
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider unconstrained minimization of smooth convex functions. We propose a novel variational perspective using forced Euler-Lagrange equation that allows for studying high-resolution ODEs. Through this, we obtain a faster convergence rate for gradient norm minimization using Nesterov's accelerated gradient method. Additionally, we show that Nesterov's method can be interpreted as a rate-matching discretization of an appropriately chosen high-resolution ODE. Finally, using the results from the new variational perspective, we propose a stochastic method for noisy gradients. Several numerical experiments compare and illustrate our stochastic algorithm with state of the art methods.
Abstract（参考訳）: 我々は滑らかな凸関数の無拘束最小化を考える。本稿では,高分解能ODEの研究を可能にする強制オイラー・ラグランジュ方程式を用いた新しい変分視点を提案する。これにより、ネステロフの加速度勾配法を用いた勾配ノルム最小化の高速収束率が得られる。さらに、Nesterovの手法は、適切に選択された高分解能ODEのレートマッチング離散化として解釈できることを示す。最後に,新しい変分的視点から得られた結果を用いて,雑音勾配の確率的手法を提案する。いくつかの数値実験により, 確率的アルゴリズムと最先端の手法を比較し, 解説した。

関連論文リスト

Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
論文参考訳（メタデータ） (2024-09-23T13:11:37Z)
Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
論文参考訳（メタデータ） (2024-05-02T21:04:20Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Understanding Accelerated Gradient Methods: Lyapunov Analyses and Hamiltonian Assisted Interpretations [1.0152838128195465]
我々は、滑らかな凸関数と強凸関数を最小化するために、以前研究したよりも一般的な1次アルゴリズムの2つのクラスを定式化する。我々は、新しい離散リアプノフ解析を通じて、強い凸条件と一般的な凸条件でネステロフの手法と一致する加速収束率を達成するのに十分な条件を確立する。我々は、ハミルトン関数といくつかの解釈可能な操作を直接ベースとした、ハミルトン支援勾配法と呼ばれる新しい離散アルゴリズムのクラスを提案する。
論文参考訳（メタデータ） (2023-04-20T03:03:30Z)
Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文参考訳（メタデータ） (2022-02-26T19:10:48Z)
Nesterov Accelerated Shuffling Gradient Method for Convex Optimization [15.908060383231371]
このアルゴリズムは,統一シャッフル方式を用いて,$mathcalO (1/T)$の改善率を示す。我々の収束解析は有界領域や有界勾配条件に関する仮定を必要としない。数値シミュレーションはアルゴリズムの効率を実証する。
論文参考訳（メタデータ） (2022-02-07T21:23:17Z)
A Closed Loop Gradient Descent Algorithm applied to Rosenbrock's function [0.0]
本稿では,非拘束慣性減衰の勾配降下アルゴリズムとして応用できる勾配系の新しい適応手法を提案する。また、リアプノフ安定性解析を用いて、連続数値時間バージョンの性能を実証する。
論文参考訳（メタデータ） (2021-08-29T17:25:24Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)
Quantized Variational Inference [6.09170287691728]
ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
論文参考訳（メタデータ） (2020-11-04T13:22:50Z)
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文参考訳（メタデータ） (2020-06-11T18:49:06Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。