論文の概要: Neural Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2107.10731v1
• Date: Thu, 22 Jul 2021 15:10:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-23 14:15:10.796522
• Title: Neural Variational Gradient Descent
• Title（参考訳）: ニューラル変量勾配の老化
• Authors: Lauro Langosco di Langosco, Vincent Fortuin, Heiko Strathmann
• Abstract要約: Stein Variational Gradient Descent (SVGD) のような粒子ベースの近似ベイズ推論アプローチは、サンプリング法の柔軟性と収束保証と、変分推論の計算上の利点を組み合わせたものである。 本稿では,パラメータを推論に並列に学習するディープニューラルネットワークを用いて,スタインの識別の目撃関数をパラメータ化し,カーネル選択の必要を緩和するニューラルニューラルニューラル・ニューラル変分差勾配(NVGD)を提案する。
• 参考スコア（独自算出の注目度）: 6.414093278187509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Particle-based approximate Bayesian inference approaches such as Stein Variational Gradient Descent (SVGD) combine the flexibility and convergence guarantees of sampling methods with the computational benefits of variational inference. In practice, SVGD relies on the choice of an appropriate kernel function, which impacts its ability to model the target distribution -- a challenging problem with only heuristic solutions. We propose Neural Variational Gradient Descent (NVGD), which is based on parameterizing the witness function of the Stein discrepancy by a deep neural network whose parameters are learned in parallel to the inference, mitigating the necessity to make any kernel choices whatsoever. We empirically evaluate our method on popular synthetic inference problems, real-world Bayesian linear regression, and Bayesian neural network inference.
• Abstract（参考訳）: Stein Variational Gradient Descent (SVGD) のような粒子ベースの近似ベイズ推論アプローチは、サンプリング法の柔軟性と収束保証と、変分推論の計算上の利点を組み合わせたものである。 実際には、SVGDは適切なカーネル関数の選択に依存しており、ターゲットの分散をモデル化する能力に影響を与える。 そこで本研究では,ニューラル変分勾配降下法(nvgd)を提案する。これは,推定に並行してパラメータを学習し,任意のカーネル選択の必要性を緩和する深層ニューラルネットワークによって,スタインの不一致の証人関数をパラメータ化することに基づく。 一般合成推論問題,実世界ベイズ線形回帰法,ベイズニューラルネットワーク推論法について実験的検討を行った。

関連論文リスト

• Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference [6.37512592611305]
  深いガウス過程(DGP)では、モデルの後部分布を近似するために誘導点と呼ばれるスパース積分位置が選択される。 後部近似に対する従来の変分推論アプローチは、しばしば大きなバイアスを引き起こす。 本稿では、微分微分方程式(SDE)を用いて誘導変数の後続サンプルを生成するDDVI(Denoising Diffusion Variational Inference)という方法を提案する。
  論文  参考訳（メタデータ） (2024-07-24T06:39:58Z)
• DiffHybrid-UQ: Uncertainty Quantification for Differentiable Hybrid Neural Modeling [4.76185521514135]
  本稿では,ハイブリッドニューラル微分可能モデルにおける有効かつ効率的な不確実性伝播と推定のための新しい手法DiffHybrid-UQを提案する。 具体的には,データノイズとてんかんの不確かさから生じるアレタリック不確かさと,モデル形状の相違やデータ空間のばらつきから生じるエピステマティック不確かさの両方を効果的に識別し,定量化する。
  論文  参考訳（メタデータ） (2023-12-30T07:40:47Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Bayesian Federated Neural Matching that Completes Full Information [2.6566593102111473]
  フェデレートラーニング(Federated Learning)は、局所的に訓練されたモデルをグローバルモデルに蒸留する機械学習パラダイムである。 そこで本研究では,各イテレーションでKulback-Leibler分散ペナルティを導入することで,この欠陥を克服する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:47:56Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Stable Neural Flows [15.318500611972441]
  ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。 学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
  論文  参考訳（メタデータ） (2020-03-18T06:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。