論文の概要: Poincaré Inequality for Local Log-Polyak-Lojasiewicz Measures : Non-asymptotic Analysis in Low-temperature Regime

• arxiv url: http://arxiv.org/abs/2502.06862v2
• Date: Wed, 12 Feb 2025 13:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:45:28.20765
• Title: Poincaré Inequality for Local Log-Polyak-Lojasiewicz Measures : Non-asymptotic Analysis in Low-temperature Regime
• Title（参考訳）: 局所的ログ・ポリャック・ロジャシエヴィチ対策におけるポアンカレ不平等 : 低温レジームにおける非漸近解析
• Authors: Yun Gong, Zebang Shen, Niao He,
• Abstract要約: 深層学習のような関連する応用におけるポテンシャル関数は、非溶解性ミニマを許容する経験的に観察される。 我々はPL のクラスが $mu_epsilon propto exp(-V/epsilon) を測り、その局所ミニマの集合は証明可能 mph 接続であることを示す。
• 参考スコア（独自算出の注目度）: 24.76306384187767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Potential functions in highly pertinent applications, such as deep learning in over-parameterized regime, are empirically observed to admit non-isolated minima. To understand the convergence behavior of stochastic dynamics in such landscapes, we propose to study the class of \logPLmeasure\ measures $\mu_\epsilon \propto \exp(-V/\epsilon)$, where the potential $V$ satisfies a local Polyak-{\L}ojasiewicz (P\L) inequality, and its set of local minima is provably \emph{connected}. Notably, potentials in this class can exhibit local maxima and we characterize its optimal set S to be a compact $\mathcal{C}^2$ \emph{embedding submanifold} of $\mathbb{R}^d$ without boundary. The \emph{non-contractibility} of S distinguishes our function class from the classical convex setting topologically. Moreover, the embedding structure induces a naturally defined Laplacian-Beltrami operator on S, and we show that its first non-trivial eigenvalue provides an \emph{$\epsilon$-independent} lower bound for the \Poincare\ constant in the \Poincare\ inequality of $\mu_\epsilon$. As a direct consequence, Langevin dynamics with such non-convex potential $V$ and diffusion coefficient $\epsilon$ converges to its equilibrium $\mu_\epsilon$ at a rate of $\tilde{\mathcal{O}}(1/\epsilon)$, provided $\epsilon$ is sufficiently small. Here $\tilde{\mathcal{O}}$ hides logarithmic terms.
• Abstract（参考訳）: 過度にパラメータ化された状態における深層学習のような、関連する応用におけるポテンシャル関数は、非孤立化されたミニマを受け入れるために経験的に観察される。 そのような風景における確率力学の収束挙動を理解するために、測度 $\mu_\epsilon \propto \exp(-V/\epsilon)$ のクラスについて検討することを提案する。 特に、このクラスのポテンシャルは局所極大を示し、その最適集合 S を、境界のない$\mathbb{R}^d$のコンパクト $\mathcal{C}^2$ \emph{embedding submanifold} として特徴づける。 S の \emph{non-contractibility} は、位相的に古典凸集合と我々の函数類を区別する。 さらに、埋め込み構造は S 上の自然に定義されたラプラシアン・ベルトラミ作用素を誘導し、その最初の非自明な固有値が \emph{$\epsilon$-independent} の下界を \Poincare\ 定数の $\mu_\epsilon$ の不等式で提供することを示す。 直接的な結果として、そのような非凸ポテンシャル$V$と拡散係数$\epsilon$はその平衡$\mu_\epsilon$に収束し、$\tilde{\mathcal{O}}(1/\epsilon)$となると、$\epsilon$は十分小さい。 ここで$\tilde{\mathcal{O}}$は対数項を隠す。

関連論文リスト

• Surrogate to Poincaré inequalities on manifolds for dimension reduction in nonlinear feature spaces [49.1574468325115]
  連続微分可能な関数 $u:mathbbRd rightarrow mathbbRm$ を $g:mathbbRd rightarrow mathbbRm$, $mleq d$, $f : mathbbRm rightarrow mathbbRR$ という関数の合成によって近似することを目指している。 固定された$g$に対して、評価を含む古典回帰法を用いて$f$を構築する。
  論文  参考訳（メタデータ） (2025-05-03T12:37:27Z)
• Guessing Efficiently for Constrained Subspace Approximation [49.83981776254246]
  制約付き部分空間近似のための一般的なフレームワークを導入する。 分割制約付き部分空間近似のための新しいアルゴリズムを$k$-meansクラスタリングに適用し、非負行列分解を投影する。
  論文  参考訳（メタデータ） (2025-04-29T15:56:48Z)
• Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
  我々は$f$-divergence-regularized offline policy learningを分析する。 逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。 これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
  論文  参考訳（メタデータ） (2025-02-09T22:14:45Z)
• Estimating the Mixing Coefficients of Geometrically Ergodic Markov Processes [5.00389879175348]
  実数値の幾何学的エルゴード的マルコフ過程の個々の$beta$-mixing係数を1つのサンプルパスから推定する。 予想される誤差率は$mathcal O(log(n) n-1/2)$である。
  論文  参考訳（メタデータ） (2024-02-11T20:17:10Z)
• Learning linear dynamical systems under convex constraints [4.4351901934764975]
  線形力学系を単一軌道の$T$サンプルから同定する問題を考察する。 A*$は、制約のない設定に必要な値よりも$T$小さい値を確実に見積もることができる。
  論文  参考訳（メタデータ） (2023-03-27T11:49:40Z)
• A note on $L^1$-Convergence of the Empiric Minimizer for unbounded functions with fast growth [0.0]
  V : mathbbRd to mathbbR$ coercive に対して、経験的最小値の$L1$-distance の収束率について検討する。 一般に、高速な成長を持つ非有界函数に対しては、収束率は上述の$a_n n-1/q$で制限され、$q$は潜在確率変数の次元である。
  論文  参考訳（メタデータ） (2023-03-08T08:46:13Z)
• A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization [53.044526424637866]
  本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。 特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
  論文  参考訳（メタデータ） (2023-01-10T20:43:29Z)
• Bound states of weakly deformed soft waveguides [0.0]
  我々は、非有界帯状領域の特性関数の倍である魅力的なポテンシャルを持つ2次元シュル「オーディンガー作用素を考える。 臨界場合 $int_mathbbR f,mathsfd x = 0$ では、十分小さな $varepsilon > 0$ に対して一意な有界状態が存在するという条件を導出する。
  論文  参考訳（メタデータ） (2022-11-03T16:56:39Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• On quantitative Laplace-type convergence results for some exponential probability measures, with two applications [2.9189409618561966]
  密度 w.r.t ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd pi_varepsilon)_varepsilon >0$ ルベーグ測度 $(mathrmd)
  論文  参考訳（メタデータ） (2021-10-25T13:00:25Z)
• Faster Perturbed Stochastic Gradient Methods for Finding Local Minima [92.99933928528797]
  局所最小値を求めるための高速な摂動勾配フレームワークであるtttPullbackを提案する。 SARAH/SP や STORM のような勾配推定器を用いたプルバックは $(epsilon, epsilon_H)$approximate local minima を $tilde O(epsilon-3 + H-6)$ 内で見つけることができる。 我々のフレームワークの中核となる考え方は、勾配評価の平均運動を制御するステップサイズのプルバック方式である。
  論文  参考訳（メタデータ） (2021-10-25T07:20:05Z)
• Greedy Adversarial Equilibrium: An Efficient Alternative to Nonconvex-Nonconcave Min-Max Optimization [28.431572772564518]
  リプシッツの$varepsilon$-greedy逆数モデルは任意の出発点から$max_z f(x, z)$に収束することを示す。 また、リプシッツの$nabla_y f(x,y)$が$d$, $1/varepsilon$であり、$nabla2_y f(x,y)$上の境界は$nabla2_yであることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:03:41Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• On the Complexity of Minimizing Convex Finite Sums Without Using the Indices of the Individual Functions [62.01594253618911]
  有限和の有限ノイズ構造を利用して、大域オラクルモデルの下での一致する$O(n2)$-upper境界を導出する。 同様のアプローチを踏襲したSVRGの新規な適応法を提案し、これはオラクルと互換性があり、$tildeO(n2+nsqrtL/mu)log (1/epsilon)$と$O(nsqrtL/epsilon)$, for $mu>0$と$mu=0$の複雑さ境界を実現する。
  論文  参考訳（メタデータ） (2020-02-09T03:39:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。