Fugu-MT 論文翻訳(概要): The Performance Of The Unadjusted Langevin Algorithm Without Smoothness Assumptions

論文の概要: The Performance Of The Unadjusted Langevin Algorithm Without Smoothness Assumptions

arxiv url: http://arxiv.org/abs/2502.03458v1
Date: Wed, 05 Feb 2025 18:55:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-06 16:28:51.250611
Title: The Performance Of The Unadjusted Langevin Algorithm Without Smoothness Assumptions
Title（参考訳）: Smoothness Assumptionsのない非調整型Langevinアルゴリズムの性能
Authors: Tim Johnston, Iosif Lytras, Nikolaos Makras, Sotirios Sabanis,
Abstract要約: 本稿では,Langevinをベースとしたアルゴリズムを提案する。対象分布へのアルゴリズムの収束に関する漸近的でない保証を導出する。非漸近距離は、アルゴリズムをバウンダリとして性能するためにも提供される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this article, we study the problem of sampling from distributions whose densities are not necessarily smooth nor log-concave. We propose a simple Langevin-based algorithm that does not rely on popular but computationally challenging techniques, such as the Moreau Yosida envelope or Gaussian smoothing. We derive non-asymptotic guarantees for the convergence of the algorithm to the target distribution in Wasserstein distances. Non asymptotic bounds are also provided for the performance of the algorithm as an optimizer, specifically for the solution of associated excess risk optimization problems.
Abstract（参考訳）: 本稿では, 密度が必ずしもスムーズでなくても, 対数凹凸でなくてもよい分布からサンプリングする問題について検討する。本稿では,モロー・ヨシダ・エンベロープやガウススムースメントなど,一般的なが計算的に難しい手法を頼らずに,簡単なランゲヴィン型アルゴリズムを提案する。ワッサーシュタイン距離における目標分布へのアルゴリズムの収束に関する漸近的でない保証を導出する。非漸近的境界はまた、アルゴリズムを最適化器としての性能、特に関連する過剰リスク最適化問題の解のためにも提供される。

関連論文リスト

Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
論文参考訳（メタデータ） (2025-07-11T15:36:48Z)
Towards Weaker Variance Assumptions for Stochastic Optimization [19.339358874690568]
次数次法の2乗ノルムを最適化変数の2乗ノルムの2乗ノルムと同程度の速さで成長させることができるような勾配アルゴリズムを解析するための古典的な仮定を再検討する。関数的制約や正規化された凸凹 min-max 問題を用いて凸問題を解析する。実現可能な集合の有界性を必要としない最適度測度に対するレートを得る。
論文参考訳（メタデータ） (2025-04-14T07:26:34Z)
On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization [37.41427897807821]
暗号非既知の正規最適化の複雑さを示す。リプシッツ関数に作用する局所アルゴリズムは、最悪の場合、亜指数最小値の値に関して有意義な局所を与えることができない。
論文参考訳（メタデータ） (2024-09-16T14:35:00Z)
Random Scaling and Momentum for Non-smooth Non-convex Optimization [38.443430569753026]
ニューラルネットワークのトレーニングには、非常に不規則な、特に凸や滑らかな損失関数が必要である。一般的なトレーニングアルゴリズムは運動量による勾配降下(SGDM)に基づいており、損失が凸あるいは滑らかである場合にのみ解析が適用される。
論文参考訳（メタデータ） (2024-05-16T00:52:03Z)
PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [58.26573117273626]
2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。連続分布戦略のための粒子ベースアルゴリズムに関する新しい知見を述べる。
論文参考訳（メタデータ） (2023-03-02T05:08:15Z)
Near-Optimal Non-Convex Stochastic Optimization under Generalized Smoothness [21.865728815935665]
2つの最近の研究は、$O(epsilon-3)$サンプル複雑性を確立し、$O(epsilon)$-定常点を得る。しかし、どちらも$mathrmploy(epsilon-1)$という大きなバッチサイズを必要とする。本研究では,STORMアルゴリズムの単純な変種を再検討することにより,従来の2つの問題を同時に解決する。
論文参考訳（メタデータ） (2023-02-13T00:22:28Z)
Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
論文参考訳（メタデータ） (2022-03-15T13:17:53Z)
Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
論文参考訳（メタデータ） (2021-11-09T09:00:02Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文参考訳（メタデータ） (2021-06-10T17:54:21Z)
Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文参考訳（メタデータ） (2020-12-11T08:28:51Z)
An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
論文参考訳（メタデータ） (2020-10-23T09:12:47Z)
Riemannian Langevin Algorithm for Solving Semidefinite Programs [9.340611077939828]
球面の積多様体上での非最適化とサンプリングのためのランゲヴィンに基づくアルゴリズムを提案する。提案アルゴリズムは,高い確率で$epsilonの精度が得られることを示す。
論文参考訳（メタデータ） (2020-10-21T17:51:08Z)
ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文参考訳（メタデータ） (2020-08-28T14:46:56Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
論文参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。