論文の概要: Fast Convergence for Langevin Diffusion with Manifold Structure

• arxiv url: http://arxiv.org/abs/2002.05576v2
• Date: Mon, 21 Sep 2020 17:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 13:05:45.135724
• Title: Fast Convergence for Langevin Diffusion with Manifold Structure
• Title（参考訳）: マニフォールド構造を有するランゲヴィン拡散の高速収束
• Authors: Ankur Moitra, Andrej Risteski
• Abstract要約: 値と問合せが可能な関数 f に対して、p(x) 形式のプロット e-beta fx) の分布からサンプリングする問題に対処する。 我々の研究は、パラメータの空間に高い完成度がある場合、どのようにして同じ出力を生成するかを理解するための重要な第一歩である、と我々は主張する。
• 参考スコア（独自算出の注目度）: 32.494158429289584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the problem of sampling from distributions of the form p(x) \propto e^{-\beta f(x)} for some function f whose values and gradients we can query. This mode of access to f is natural in the scenarios in which such problems arise, for instance sampling from posteriors in parametric Bayesian models. Classical results show that a natural random walk, Langevin diffusion, mixes rapidly when f is convex. Unfortunately, even in simple examples, the applications listed above will entail working with functions f that are nonconvex -- for which sampling from p may in general require an exponential number of queries. In this paper, we focus on an aspect of nonconvexity relevant for modern machine learning applications: existence of invariances (symmetries) in the function f, as a result of which the distribution p will have manifolds of points with equal probability. First, we give a recipe for proving mixing time bounds for Langevin diffusion as a function of the geometry of these manifolds. Second, we specialize our arguments to classic matrix factorization-like Bayesian inference problems where we get noisy measurements A(XX^T), X \in R^{d \times k} of a low-rank matrix, i.e. f(X) = \|A(XX^T) - b\|^2_2, X \in R^{d \times k}, and \beta the inverse of the variance of the noise. Such functions f are invariant under orthogonal transformations, and include problems like matrix factorization, sensing, completion. Beyond sampling, Langevin dynamics is a popular toy model for studying stochastic gradient descent. Along these lines, we believe that our work is an important first step towards understanding how SGD behaves when there is a high degree of symmetry in the space of parameters the produce the same output.
• Abstract（参考訳）: 本稿では,ある関数 f に対する p(x) \propto e^{-\beta f(x)} 形式の分布からのサンプリング問題について検討する。 このfへのアクセスモードは、例えばパラメトリックベイズモデルの後方からサンプリングするなど、そのような問題が発生するシナリオにおいて自然である。 古典的な結果は、自然のランダムウォーク、ランゲヴィン拡散が、fが凸であるときに急速に混合することを示している。 残念ながら、単純な例であっても、上述のアプリケーションは、非凸関数 f を扱わなければならない。 本稿では,関数 f における不変性(対称性)の存在,すなわち分布 p が同じ確率で点の多様体を持つこと,といった,現代の機械学習アプリケーションに関係する非凸性の側面に焦点を当てる。 まず、ランジュバン拡散の混合時間境界をこれらの多様体の幾何学の関数として証明するレシピを与える。 第二に、古典行列分解のようなベイズ推論問題に対して、低ランク行列の雑音測定 A(XX^T)、X \in R^{d \times k}、すなわち f(X) = \|A(XX^T) - b\|^2_2、X \in R^{d \times k} および \beta を得る。 そのような函数 f は直交変換の下で不変であり、行列分解、センシング、完備化といった問題を含む。 サンプリング以外にも、ランジュバン・ダイナミクスは確率的勾配降下を研究するための人気のある玩具モデルである。 これらの線に沿って、我々は、sgdが同じ出力を生成するパラメータの空間に高い対称性があるときにどのように振る舞うかを理解するための重要な第一歩であると信じています。

関連論文リスト

• ADMM for Structured Fractional Minimization [7.9047096855236125]
  我々は、数値化器が微分可能な関数を含むような、構造化された分数問題のクラスを考える。 本稿では,このクラスの問題に対して,最初の乗算器の交換法であるsf FADMMを紹介する。
  論文  参考訳（メタデータ） (2024-11-12T02:50:12Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Neural Diffeomorphic Non-uniform B-spline Flows [19.123498909919647]
  双リプシッツ連続において少なくとも2回連続的に微分可能な微分同相非一様B-スプライン流を提案する。 我々のC2-微分型非一様B-スプライン流は, 従来のスプライン流よりも高速で, スムーズな正規化流よりも高速な解を得た。
  論文  参考訳（メタデータ） (2023-04-07T05:34:18Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Large deviations rates for stochastic gradient descent with strongly convex functions [11.247580943940916]
  勾配降下を伴う一般高確率境界の研究のための公式な枠組みを提供する。 強い凸関数を持つSGDの上限となる大きな偏差が見つかる。
  論文  参考訳（メタデータ） (2022-11-02T09:15:26Z)
• Adjoint-aided inference of Gaussian process driven differential equations [0.8257490175399691]
  本稿では,線形系の随伴性を用いて,GPとしてモデル化された強制関数を効率的に推論する方法を示す。 常微分方程式と偏微分方程式の両方の系に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2022-02-09T17:35:14Z)
• Feature Cross Search via Submodular Optimization [58.15569071608769]
  機能工学の基本的な基礎として機能横断探索について研究する。 この問題に対して単純なgreedy $(1-1/e)$-approximationアルゴリズムが存在することを示す。
  論文  参考訳（メタデータ） (2021-07-05T16:58:31Z)
• Symplectic Gaussian Process Regression of Hamiltonian Flow Maps [0.8029049649310213]
  ハミルトンフローマップに対する適切な効率なエミュレータを構築するためのアプローチを提案する。 将来的な応用は、加速器における高速荷電粒子の長期追跡と磁気プラズマ閉じ込めである。
  論文  参考訳（メタデータ） (2020-09-11T17:56:35Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。