論文の概要: A Dynamical System View of Langevin-Based Non-Convex Sampling

• arxiv url: http://arxiv.org/abs/2210.13867v1
• Date: Tue, 25 Oct 2022 09:43:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 16:17:59.168701
• Title: A Dynamical System View of Langevin-Based Non-Convex Sampling
• Title（参考訳）: ランゲヴィンに基づく非凸サンプリングの動的システムビュー
• Authors: Mohammad Reza Karimi, Ya-Ping Hsieh, Andreas Krause
• Abstract要約: 非サンプリングは機械学習における重要な課題であり、ディープラーニングにおける非レート最適化の中心であり、その重要性を近似する。 既存の保証は通常、より望ましい最終段階の反復よりも平均距離のみを保持する。 我々は、理論システムからいくつかのツールを活用することにより、上記の問題を解消する新しいフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 84.61544861851907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-convex sampling is a key challenge in machine learning, central to non-convex optimization in deep learning as well as to approximate probabilistic inference. Despite its significance, theoretically there remain many important challenges: Existing guarantees (1) typically only hold for the averaged iterates rather than the more desirable last iterates, (2) lack convergence metrics that capture the scales of the variables such as Wasserstein distances, and (3) mainly apply to elementary schemes such as stochastic gradient Langevin dynamics. In this paper, we develop a new framework that lifts the above issues by harnessing several tools from the theory of dynamical systems. Our key result is that, for a large class of state-of-the-art sampling schemes, their last-iterate convergence in Wasserstein distances can be reduced to the study of their continuous-time counterparts, which is much better understood. Coupled with standard assumptions of MCMC sampling, our theory immediately yields the last-iterate Wasserstein convergence of many advanced sampling schemes such as proximal, randomized mid-point, and Runge-Kutta integrators. Beyond existing methods, our framework also motivates more efficient schemes that enjoy the same rigorous guarantees.
• Abstract（参考訳）: 非凸サンプリングは機械学習における重要な課題であり、ディープラーニングにおける非凸最適化の中心であり、確率的推論を近似する。 その重要性にもかかわらず、理論上は重要な課題がいくつか残っている: 既存の保証 (1) は典型的にはより望ましい最終イテレートよりも平均イテレートのみを保ち、(2) ワッサーシュタイン距離のような変数のスケールを捉える収束指標が欠如し、(3) は主に確率勾配ランゲヴィン力学のような基本的なスキームに適用される。 本稿では,力学系の理論からいくつかのツールを活用することで,上記の問題を解消する新しい枠組みを開発する。 我々の重要な結果は、最先端のサンプリングスキームの大規模なクラスにおいて、ワッサーシュタイン距離における最終点収束は、よりよく理解された連続時間収束の研究に還元できるということである。 mcmcサンプリングの標準的な仮定と組み合わされ、本理論は、近位点、ランダム中点、ランゲ・クッタ積分器といった多くの先進的なサンプリングスキームのラストイテレートなワッサーシュタイン収束をもたらす。 既存の手法以外にも、我々のフレームワークは同じ厳格な保証を享受するより効率的なスキームを動機付けています。

関連論文リスト

• Harmonic Path Integral Diffusion [0.4527270266697462]
  連続多変量確率分布からサンプリングする新しい手法を提案する。 本手法は状態空間の起点を中心とするデルタ関数から時間依存ブリッジを構築する。
  論文  参考訳（メタデータ） (2024-09-23T16:20:21Z)
• Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows [10.153270126742369]
  正規化定数を含む確率分布の効率的な近似サンプリングについて検討した。 具体的には,科学技術応用における大規模逆問題に対するベイズ推定における問題クラスに着目する。
  論文  参考訳（メタデータ） (2024-06-25T04:07:22Z)
• Non-Stationary Long-Term Dynamics via Selected Incomplete Dual Bases [0.0]
  我々は、SU(2)コヒーレント状態基底を提案し、時間非依存および時間依存ハミルトニアンの運動方程式を導出する。 本手法は7ビット系の数値シミュレーションにより評価する。 結論は,選択された不完全二元基底法は,短期的・長期的両方のダイナミクスを効率的に捉えることができることを示唆している。
  論文  参考訳（メタデータ） (2023-06-12T20:21:29Z)
• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [62.51015395213579]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Nonlinear Two-Time-Scale Stochastic Approximation: Convergence and Finite-Time Performance [1.52292571922932]
  非線形2時間スケール近似の収束と有限時間解析について検討する。 特に,本手法は期待値の収束を$mathcalO (1/k2/3)$で達成し,$k$は反復数であることを示す。
  論文  参考訳（メタデータ） (2020-11-03T17:43:39Z)
• Achieving fast high-fidelity optimal control of many-body quantum dynamics [0.0]
  本稿では, 難解な多体問題に適用することで, 最近の高精度最適制御手法の有効性を実証する。 我々は, プロセスの最小期間推定値を用いて, 0.99-0.9999の範囲の忠実度を観測した。 全体として、この比較は理想的なオープンループ設定における多体システムに対しても重要な方法論的改善を示唆している。
  論文  参考訳（メタデータ） (2020-08-13T18:30:24Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。