論文の概要: kTULA: A Langevin sampling algorithm with improved KL bounds under super-linear log-gradients

• arxiv url: http://arxiv.org/abs/2506.04878v1
• Date: Thu, 05 Jun 2025 10:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.668235
• Title: kTULA: A Langevin sampling algorithm with improved KL bounds under super-linear log-gradients
• Title（参考訳）: kTULA:超線形ログ勾配下での改良KL境界を用いたLangevinサンプリングアルゴリズム
• Authors: Iosif Lytras, Sotirios Sabanis, Ying Zhang,
• Abstract要約: 超線形に成長するログ勾配を持つ分布からサンプリングする問題を解くために, kTULA と呼ばれるタグ付きランゲヴィン動的アルゴリズムを提案する。 本研究の主な成果は,kTULAの性能に関する理論的保証を提供することである。
• 参考スコア（独自算出の注目度）: 4.200092006696932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by applications in deep learning, where the global Lipschitz continuity condition is often not satisfied, we examine the problem of sampling from distributions with super-linearly growing log-gradients. We propose a novel tamed Langevin dynamics-based algorithm, called kTULA, to solve the aforementioned sampling problem, and provide a theoretical guarantee for its performance. More precisely, we establish a non-asymptotic convergence bound in Kullback-Leibler (KL) divergence with the best-known rate of convergence equal to $2-\overline{\epsilon}$, $\overline{\epsilon}>0$, which significantly improves relevant results in existing literature. This enables us to obtain an improved non-asymptotic error bound in Wasserstein-2 distance, which can be used to further derive a non-asymptotic guarantee for kTULA to solve the associated optimization problems. To illustrate the applicability of kTULA, we apply the proposed algorithm to the problem of sampling from a high-dimensional double-well potential distribution and to an optimization problem involving a neural network. We show that our main results can be used to provide theoretical guarantees for the performance of kTULA.
• Abstract（参考訳）: グローバルリプシッツ連続性条件が満たされない深層学習への応用により,超線形に成長するロググラディエントを用いた分布からのサンプリング問題を検討した。 上述したサンプリング問題の解法として, kTULA と呼ばれる新しいランゲヴィン動的アルゴリズムを提案し, その性能を理論的に保証する。 より正確には、Kullback-Leibler (KL) の発散する非漸近収束を2-\overline{\epsilon}$, $\overline{\epsilon}>0$と最もよく知られた収束率で定め、既存の文献における関連する結果を著しく改善する。 これにより、ワッサーシュタイン2距離における非漸近誤差が改善し、kTULAが関連する最適化問題を解くための非漸近保証をさらに導出することができる。 kTULAの適用性を説明するために,提案アルゴリズムを高次元二重井戸電位分布からのサンプリング問題とニューラルネットワークを含む最適化問題に適用する。 本研究の主な成果は,kTULAの性能に関する理論的保証を提供することである。

関連論文リスト

• Versatile Single-Loop Method for Gradient Estimator: First and Second Order Optimality, and its Application to Federated Learning [45.78238792836363]
  本稿では,SLEDGE (Single-Loop-E Gradient Estimator) という単一ループアルゴリズムを提案する。 既存の手法とは異なり、SLEDGEは、(ii)2階最適、(ii)PL領域における、(iii)少ないデータ以下の複雑さの利点を持つ。
  論文  参考訳（メタデータ） (2022-09-01T11:05:26Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Non-asymptotic estimates for TUSLA algorithm for non-convex learning with applications to neural networks with ReLU activation function [3.5044892799305956]
  Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。 特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。 TUSLAアルゴリズムは最適解に急速に収束することを示す。
  論文  参考訳（メタデータ） (2021-07-19T07:13:02Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。