論文の概要: Hessian-Free High-Resolution Nesterov Acceleration for Sampling

• arxiv url: http://arxiv.org/abs/2006.09230v4
• Date: Sat, 18 Jun 2022 01:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:12:26.784357
• Title: Hessian-Free High-Resolution Nesterov Acceleration for Sampling
• Title（参考訳）: サンプリングのためのhessian-free high- resolution nesterovacceleration
• Authors: Ruilin Li, Hongyuan Zha, Molei Tao
• Abstract要約: 最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
• 参考スコア（独自算出の注目度）: 55.498092486970364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nesterov's Accelerated Gradient (NAG) for optimization has better performance than its continuous time limit (noiseless kinetic Langevin) when a finite step-size is employed \citep{shi2021understanding}. This work explores the sampling counterpart of this phenonemon and proposes a diffusion process, whose discretizations can yield accelerated gradient-based MCMC methods. More precisely, we reformulate the optimizer of NAG for strongly convex functions (NAG-SC) as a Hessian-Free High-Resolution ODE, change its high-resolution coefficient to a hyperparameter, inject appropriate noise, and discretize the resulting diffusion process. The acceleration effect of the new hyperparameter is quantified and it is not an artificial one created by time-rescaling. Instead, acceleration beyond underdamped Langevin in $W_2$ distance is quantitatively established for log-strongly-concave-and-smooth targets, at both the continuous dynamics level and the discrete algorithm level. Empirical experiments in both log-strongly-concave and multi-modal cases also numerically demonstrate this acceleration.
• Abstract（参考訳）: 最適化のためのネステロフの加速勾配(nag)は、有限ステップサイズを採用した場合の連続時間制限(ノイズなし速度ランジュバン)よりも優れた性能を示す。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。 より正確には、強凸関数(NAG-SC)に対するNAGの最適化をヘッセンフリー高分解能ODEとして再構成し、高分解能係数をハイパーパラメータに変更し、適切なノイズを注入し、その結果の拡散過程を離散化する。 新しいハイパーパラメータの加速度効果を定量化し、時間再スケーリングによって生成された人工的な効果ではない。 代わりに、連続ダイナミクスレベルと離散アルゴリズムレベルの両方において、w_2$距離のアンダーダンドランジュバンを超える加速度は、ログに強い凹凸とスムースターゲットに対して定量的に確立される。 log-strongly-concaveとmulti-modalのケースでの実証実験も、この加速を数値的に示している。

関連論文リスト

• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion [0.0]
  ランゲヴィン・ダイナミクスは、グローバルな非最適化実験で広く用いられている。 提案手法は,速度と離散化誤差のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T07:49:40Z)
• Revisiting the acceleration phenomenon via high-resolution differential equations [6.53306151979817]
  ネステロフの加速勾配降下(NAG)は、一階アルゴリズムの歴史におけるマイルストーンの1つである。 Lyapunov解析と位相空間表現に基づく$mu$-strongly convex関数のNAGについて検討する。 NAGの暗黙的速度スキームによる高分解能微分方程式の枠組みは完璧であり、勾配補正スキームよりも優れていた。
  論文  参考訳（メタデータ） (2022-12-12T04:36:37Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• A modified limited memory Nesterov's accelerated quasi-Newton [0.0]
  ネステロフの加速準ニュートン(L)NAQ法は従来の(L)BFGS準ニュートン法を加速することを示した。 Momentum accelerated Quasi-Newton (MoQ) 法は,Nesterov の加速勾配を過去の勾配の線形結合として近似できることを示した。 この抽象化は、MoQ近似を限られたメモリNAQに拡張し、関数近似問題における性能を評価する。
  論文  参考訳（メタデータ） (2021-12-01T06:48:47Z)
• Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC via Variance Reduction [24.794221009364772]
  ノイズの多いエネルギー推定器の分散の低減について検討し、より効率的な分析を促進する。 合成実験および画像データに対する最適化および不確実性推定の最先端結果を得る。
  論文  参考訳（メタデータ） (2020-10-02T16:23:35Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。