Fugu-MT 論文翻訳(概要): Adaptive Non-reversible Stochastic Gradient Langevin Dynamics

論文の概要: Adaptive Non-reversible Stochastic Gradient Langevin Dynamics

arxiv url: http://arxiv.org/abs/2009.12690v1
Date: Sat, 26 Sep 2020 21:34:01 GMT
ステータス: 処理完了
システム内更新日: 2022-10-14 08:35:33.456192
Title: Adaptive Non-reversible Stochastic Gradient Langevin Dynamics
Title（参考訳）: 適応的非可逆確率勾配ランゲヴィンダイナミクス
Authors: Vikram Krishnamurthy and George Yin
Abstract要約: ランゲヴィン力学アルゴリズムの数値化に任意のスキュー対称勾配を加えることは、収束率を改良した非可逆拡散をもたらすことはよく知られている。本稿では,スキュー対称行列の選択を適応的に最適化する勾配アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 21.796874356469644
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is well known that adding any skew symmetric matrix to the gradient of Langevin dynamics algorithm results in a non-reversible diffusion with improved convergence rate. This paper presents a gradient algorithm to adaptively optimize the choice of the skew symmetric matrix. The resulting algorithm involves a non-reversible diffusion algorithm cross coupled with a stochastic gradient algorithm that adapts the skew symmetric matrix. The algorithm uses the same data as the classical Langevin algorithm. A weak convergence proof is given for the optimality of the choice of the skew symmetric matrix. The improved convergence rate of the algorithm is illustrated numerically in Bayesian learning and tracking examples.
Abstract（参考訳）: ランゲヴィン力学アルゴリズムの勾配に任意のスキュー対称行列を加えると、収束率が改善された非可逆拡散が生じることはよく知られている。本稿では,スキュー対称行列の選択を適応的に最適化する勾配アルゴリズムを提案する。得られたアルゴリズムは、スキュー対称行列に適応する確率勾配アルゴリズムと交差する非可逆拡散アルゴリズムを含む。このアルゴリズムは古典的なランゲヴィンアルゴリズムと同じデータを使用する。歪対称行列の選択の最適性に対して弱収束証明が与えられる。アルゴリズムの収束率の向上はベイズ学習と追跡の例で数値的に説明される。

関連論文リスト

Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文参考訳（メタデータ） (2023-10-18T10:29:58Z)
Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent [1.534667887016089]
一般最適化法の力学を近似した微分方程式のクラスを提案する。座標降下の場合の修正方程式の安定性について検討する。
論文参考訳（メタデータ） (2023-09-05T09:39:56Z)
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文参考訳（メタデータ） (2023-01-30T15:46:39Z)
Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
論文参考訳（メタデータ） (2022-08-09T07:36:25Z)
An Algebraically Converging Stochastic Gradient Descent Algorithm for Global Optimization [14.336473214524663]
アルゴリズムの主要な構成要素は、目的関数の値に基づくランダム性である。アルゴリズムの収束を代数学で証明し、パラメータ空間でチューニングする。アルゴリズムの効率性とロバスト性を示す数値的な例をいくつか提示する。
論文参考訳（メタデータ） (2022-04-12T16:27:49Z)
Fast Projected Newton-like Method for Precision Matrix Estimation under Total Positivity [15.023842222803058]
現在のアルゴリズムはブロック座標降下法や近点アルゴリズムを用いて設計されている。本稿では,2次元投影法に基づく新しいアルゴリズムを提案し,慎重に設計された探索方向と変数分割方式を取り入れた。合成および実世界のデータセットに対する実験結果から,提案アルゴリズムは最先端の手法と比較して計算効率を著しく向上させることを示した。
論文参考訳（メタデータ） (2021-12-03T14:39:10Z)
Multi-kernel Passive Stochastic Gradient Algorithms and Transfer Learning [21.796874356469644]
勾配アルゴリズムはコスト関数のノイズ勾配が評価される位置を制御できない。このアルゴリズムは高次元問題において著しく優れており、分散還元を取り入れている。
論文参考訳（メタデータ） (2020-08-23T11:55:19Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)
Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
最小二乗問題に対する反復スケッチの性能について検討する。本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
論文参考訳（メタデータ） (2020-02-03T16:17:50Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。