論文の概要: Fast Convergence of Langevin Dynamics on Manifold: Geodesics meet Log-Sobolev

• arxiv url: http://arxiv.org/abs/2010.05263v2
• Date: Sun, 6 Dec 2020 18:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 13:07:58.351496
• Title: Fast Convergence of Langevin Dynamics on Manifold: Geodesics meet Log-Sobolev
• Title（参考訳）: 多様体上のランゲヴィンダイナミクスの高速収束:ログソボレフに接する測地学
• Authors: Xiao Wang, Qi Lei and Ioannis Panageas
• Abstract要約: ある関数に対して高次元分布行列からサンプリングする1つのアプローチはランゲヴィンアルゴリズムである。 私たちの仕事は[53]の結果を一般化します。$mathRn$ は $bbRn$ ではなく af$ で定義されます。
• 参考スコア（独自算出の注目度）: 31.57723436316983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling is a fundamental and arguably very important task with numerous applications in Machine Learning. One approach to sample from a high dimensional distribution $e^{-f}$ for some function $f$ is the Langevin Algorithm (LA). Recently, there has been a lot of progress in showing fast convergence of LA even in cases where $f$ is non-convex, notably [53], [39] in which the former paper focuses on functions $f$ defined in $\mathbb{R}^n$ and the latter paper focuses on functions with symmetries (like matrix completion type objectives) with manifold structure. Our work generalizes the results of [53] where $f$ is defined on a manifold $M$ rather than $\mathbb{R}^n$. From technical point of view, we show that KL decreases in a geometric rate whenever the distribution $e^{-f}$ satisfies a log-Sobolev inequality on $M$.
• Abstract（参考訳）: サンプリングは、機械学習に多くの応用があるため、基本的に非常に重要なタスクである。 関数 $f$ に対する高次元分布 $e^{-f}$ からのサンプルへの1つのアプローチは、langevinアルゴリズム (la) である。 最近では、$f$ が非凸である場合、特に[53], [39] において、前回の論文が $\mathbb{R}^n$ で定義される関数 $f$ に焦点をあて、後者の論文は多様体構造を持つ対称性(行列完備型目的など)を持つ関数に焦点をあてる場合においても、LAの高速収束を示す多くの進歩がある。 我々の研究は[53]の結果を一般化し、$f$は$\mathbb{R}^n$ではなく$M$で定義される。 技術的な観点から、KL は分布 $e^{-f}$ が log-Sobolev の不等式を$M$ で満たすとき、幾何速度で減少することを示す。

関連論文リスト

• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Accelerated Methods for Riemannian Min-Max Optimization Ensuring Bounded Geometric Penalties [21.141544548229774]
  我々は$min_x max_y f(x, y) という形式で、$mathcalN$ は Hadamard である。 我々は、勾配収束定数を減少させることにより、グローバルな関心が加速されることを示す。
  論文  参考訳（メタデータ） (2023-05-25T15:43:07Z)
• Convergence of a Normal Map-based Prox-SGD Method under the KL Inequality [0.0]
  我々は、$symbol$k$収束問題に対して、新しいマップベースのアルゴリズム(mathsfnorMtext-mathsfSGD$)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T01:12:11Z)
• Strong uniform convergence of Laplacians of random geometric and directed kNN graphs on compact manifolds [0.0]
  この作用素の微分ラプラス・ベルトラミ作用素へのほぼ確実に一様収束は、$n$が無限大の傾向にあるときに研究する。 この研究は、過去15年間の既知の結果を拡張した。
  論文  参考訳（メタデータ） (2022-12-20T14:31:06Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Fast Graph Sampling for Short Video Summarization using Gershgorin Disc Alignment [52.577757919003844]
  高速グラフサンプリングの最近の進歩を利用して,短い動画を複数の段落に効率よく要約する問題について検討する。 実験結果から,本アルゴリズムは最先端の手法と同等の映像要約を実現し,複雑さを大幅に低減した。
  論文  参考訳（メタデータ） (2021-10-21T18:43:00Z)
• Algorithms and Hardness for Linear Algebra on Geometric Graphs [14.822517769254352]
  グリーンガードとロークリンの有名な高速多重極法における次元$dの指数的依存は改善できないことを示す。 これは高速多重極法について証明された最初の公式な制限である。
  論文  参考訳（メタデータ） (2020-11-04T18:35:02Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Convergence of Sparse Variational Inference in Gaussian Processes Regression [29.636483122130027]
  計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
  論文  参考訳（メタデータ） (2020-08-01T19:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。