論文の概要: Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems

• arxiv url: http://arxiv.org/abs/2203.10215v1
• Date: Sat, 19 Mar 2022 02:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-27 00:38:26.552496
• Title: Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems
• Title（参考訳）: グローバル最適化非凸制約問題に対する反射勾配ランジュバンダイナミクスの収束誤差解析
• Authors: Kanji Sato, Akiko Takeda, Reiichiro Kawai, Taiji Suzuki
• Abstract要約: この研究は、非制約問題を含むスムーズな制約付き問題に対する勾配最適化アルゴリズムを解析する。 収束速度は凸制約ケースに対してLamper (2021) が与える値である。
• 参考スコア（独自算出の注目度）: 43.11663384295848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-convex optimization problems have various important applications, whereas many algorithms have been proven only to converge to stationary points. Meanwhile, gradient Langevin dynamics (GLD) and its variants have attracted increasing attention as a framework to provide theoretical convergence guarantees for a global solution in non-convex settings. The studies on GLD initially treated unconstrained convex problems and very recently expanded to convex constrained non-convex problems by Lamperski (2021). In this work, we can deal with non-convex problems with some kind of non-convex feasible region. This work analyzes reflected gradient Langevin dynamics (RGLD), a global optimization algorithm for smoothly constrained problems, including non-convex constrained ones, and derives a convergence rate to a solution with $\epsilon$-sampling error. The convergence rate is faster than the one given by Lamperski (2021) for convex constrained cases. Our proofs exploit the Poisson equation to effectively utilize the reflection for the faster convergence rate.
• Abstract（参考訳）: 非凸最適化問題には様々な重要な応用があるが、多くのアルゴリズムは定常点に収束することが証明されている。 一方、勾配ランジュバンダイナミクス(gld)とその変種は、非凸設定における大域的な解に対する理論的収束保証を提供するフレームワークとして注目されている。 GLDの研究は、最初は制約のない凸問題を扱い、最近になってLamperski (2021) による非凸問題に拡張された。 この研究では、ある種の非凸可能領域で非凸問題を扱うことができる。 本研究は,非凸制約問題を含む滑らかな制約問題に対する大域的最適化アルゴリズムである反射勾配ランジュバンダイナミクス(rgld)を解析し,$\epsilon$-samplingエラーのある解への収束率を導出する。 収束速度は凸制約ケースに対してLamperski (2021) が与えたものよりも速い。 我々の証明はポアソン方程式を利用して高速収束率の反射を効果的に活用する。

関連論文リスト

• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points [8.452349885923507]
  グラディエントベースの1次凸最適化アルゴリズムは、機械学習タスクを含むさまざまな領域で広く適用可能である。 最適時間の固定時間理論の最近の進歩に触発されて,高速化最適化アルゴリズムを設計するための枠組みを導入する。 非ド・サドル点を許容する関数に対しては、これらのサドル点を避けるのに必要な時間は初期条件すべてに一様有界であることを示す。
  論文  参考訳（メタデータ） (2022-12-07T16:36:23Z)
• Fixed-Time Convergence for a Class of Nonconvex-Nonconcave Min-Max Problems [5.787117733071416]
  min-max問題を解くための固定時間収束サドル点力学系を開発した。 提案手法は他のどの状態法と比較しても高速に実現できる。
  論文  参考訳（メタデータ） (2022-07-26T12:25:05Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program [26.143558180103334]
  凸形状と双対性の観点から2層ReLULUネットワークの非定常流について検討する。 そこで本研究では, 原始二重対応により, 非下位降下問題を特定することができることを示す。
  論文  参考訳（メタデータ） (2021-10-13T04:17:08Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。