論文の概要: Globally Convergent Variational Inference

• arxiv url: http://arxiv.org/abs/2501.08201v1
• Date: Tue, 14 Jan 2025 15:36:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:01.707732
• Title: Globally Convergent Variational Inference
• Title（参考訳）: グローバル収束型変分推論
• Authors: Declan McNamara, Jackson Loper, Jeffrey Regier,
• Abstract要約: 本研究では, 特定の VI 手法のグローバル収束性を確立する。 この方法は神経後部推定(NPE)の例と考えられる。 アブレーション研究と実際的な問題では,NPEの非漸近的有限ニューロン設定における挙動が説明できる。
• 参考スコア（独自算出の注目度）: 3.126959812401426
• License:
• Abstract: In variational inference (VI), an approximation of the posterior distribution is selected from a family of distributions through numerical optimization. With the most common variational objective function, known as the evidence lower bound (ELBO), only convergence to a local optimum can be guaranteed. In this work, we instead establish the global convergence of a particular VI method. This VI method, which may be considered an instance of neural posterior estimation (NPE), minimizes an expectation of the inclusive (forward) KL divergence to fit a variational distribution that is parameterized by a neural network. Our convergence result relies on the neural tangent kernel (NTK) to characterize the gradient dynamics that arise from considering the variational objective in function space. In the asymptotic regime of a fixed, positive-definite neural tangent kernel, we establish conditions under which the variational objective admits a unique solution in a reproducing kernel Hilbert space (RKHS). Then, we show that the gradient descent dynamics in function space converge to this unique function. In ablation studies and practical problems, we demonstrate that our results explain the behavior of NPE in non-asymptotic finite-neuron settings, and show that NPE outperforms ELBO-based optimization, which often converges to shallow local optima.
• Abstract（参考訳）: 変分推論(VI)では、数値最適化により、分布の族から後部分布の近似が選択される。 最も一般的な変分目的関数であるエビデンスローバウンド(ELBO)では、局所最適値への収束のみが保証される。 この研究では、代わりに特定の VI 法の大域収束を確立する。 神経後部推定(NPE)の例と考えられるこのVI法は、包括的(前方)KL分散の期待を最小化し、ニューラルネットワークによってパラメータ化される変動分布に適合させる。 我々の収束結果は、関数空間の変動目的を考えることから生じる勾配ダイナミクスを特徴づけるために、ニューラル・タンジェント・カーネル(NTK)に依存している。 固定された正定値のニューラル・タンジェント・カーネルの漸近的状態において、変分目的が再現されたカーネルヒルベルト空間(RKHS)における一意の解を許容する条件を確立する。 そして、関数空間における勾配勾配勾配ダイナミクスが、この一意関数に収束することを示す。 本研究では,非漸近的有限ニューロン設定におけるNPEの挙動を解析し,NPEがELBOに基づく最適化よりも優れていることを示す。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• A Neural Network-Based Enrichment of Reproducing Kernel Approximation for Modeling Brittle Fracture [0.0]
  脆性破壊をモデル化するためのニューラルネットワーク強化再生カーネル粒子法(NN-RKPM)の改良版を提案する。 提案手法の有効性は,損傷伝播と分岐を含む一連の数値例によって実証された。
  論文  参考訳（メタデータ） (2023-07-04T21:52:09Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• On the Identification and Optimization of Nonsmooth Superposition Operators in Semilinear Elliptic PDEs [3.045851438458641]
  原型半線形楕円偏微分方程式(PDE)の非線形部分におけるネミトスキー作用素の同定を目的とした無限次元最適化問題について検討する。 以前の研究とは対照的に、ネミトスキー作用素を誘導する関数が a-priori であることは、$H leakyloc(mathbbR)$ の要素であることが知られている。
  論文  参考訳（メタデータ） (2023-06-08T13:33:20Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Neural Variational Gradient Descent [6.414093278187509]
  Stein Variational Gradient Descent (SVGD) のような粒子ベースの近似ベイズ推論アプローチは、サンプリング法の柔軟性と収束保証と、変分推論の計算上の利点を組み合わせたものである。 本稿では,パラメータを推論に並列に学習するディープニューラルネットワークを用いて,スタインの識別の目撃関数をパラメータ化し,カーネル選択の必要を緩和するニューラルニューラルニューラル・ニューラル変分差勾配(NVGD)を提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:10:50Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Non-asymptotic Optimal Prediction Error for Growing-dimensional Partially Functional Linear Models [0.951828574518325]
  予測誤差の最大値と最大値の上限を示す。 過剰な予測リスクの正確な上限は、非漸近的な形で示される。 モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
  論文  参考訳（メタデータ） (2020-09-10T08:49:32Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。