論文の概要: Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
- arxiv url: http://arxiv.org/abs/2507.07853v1
- Date: Thu, 10 Jul 2025 15:33:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 16:40:15.463262
- Title: Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
- Title(参考訳): 正方形ルート自然勾配変分推論のための最適化保証
- Authors: Navish Kumar, Thomas Möllenhoff, Mohammad Emtiyaz Khan, Aurelien Lucchi,
- Abstract要約: 本稿では,変分ガウス推定とその連続時間勾配流に対する収束保証を確立する。
実験では、自然勾配法の有効性を実証し、ユークリッドあるいはワッサーシュタイン幾何学を用いるアルゴリズムよりもそれらの利点を強調している。
- 参考スコア(独自算出の注目度): 16.89312441692349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational inference with natural-gradient descent often shows fast convergence in practice, but its theoretical convergence guarantees have been challenging to establish. This is true even for the simplest cases that involve concave log-likelihoods and use a Gaussian approximation. We show that the challenge can be circumvented for such cases using a square-root parameterization for the Gaussian covariance. This approach establishes novel convergence guarantees for natural-gradient variational-Gaussian inference and its continuous-time gradient flow. Our experiments demonstrate the effectiveness of natural gradient methods and highlight their advantages over algorithms that use Euclidean or Wasserstein geometries.
- Abstract(参考訳): 自然段階の降下による変分推論は、実際は高速な収束を示すことが多いが、理論的な収束保証は確立することが困難である。
これは、丸太のような凹凸を持ち、ガウス近似を用いる最も単純な場合にも当てはまる。
ガウス共分散に対する平方根パラメタライゼーションを用いて,そのような場合の課題を回避可能であることを示す。
このアプローチは、自然な漸次変分ガウス予想とその連続時間勾配流に対する新しい収束保証を確立する。
実験では, 自然勾配法の有効性を実証し, ユークリッド法やワッサーシュタイン法を用いるアルゴリズムよりもその優位性を強調した。
関連論文リスト
- A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳(メタデータ) (2024-05-24T21:09:19Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Provable convergence guarantees for black-box variational inference [19.421222110188605]
ブラックボックスの変分推論は、最適化が成功する証拠がない状況で広く使われている。
我々は,現実的な推論問題に実際に用いられている手法と同様の手法が収束するという厳密な保証を提供する。
論文 参考訳(メタデータ) (2023-06-04T11:31:41Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳(メタデータ) (2023-04-27T06:27:37Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳(メタデータ) (2021-06-30T17:51:36Z) - The computational asymptotics of Gaussian variational inference and the
Laplace approximation [19.366538729532856]
ガウス族との変分推論の凸性について理論的に解析する。
CSVIとCSVの両方の大規模実データにより、各最適化問題のグローバルな最適解が得られる可能性が向上することを示す。
論文 参考訳(メタデータ) (2021-04-13T01:23:34Z) - Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
論文 参考訳(メタデータ) (2020-11-09T02:51:17Z) - The Strength of Nesterov's Extrapolation in the Individual Convergence
of Nonsmooth Optimization [0.0]
ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。
提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。
本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
論文 参考訳(メタデータ) (2020-06-08T03:35:41Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。