論文の概要: Forward $\chi^2$ Divergence Based Variational Importance Sampling

• arxiv url: http://arxiv.org/abs/2311.02516v1
• Date: Sat, 4 Nov 2023 21:46:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 17:19:06.997940
• Title: Forward $\chi^2$ Divergence Based Variational Importance Sampling
• Title（参考訳）: Forward $\chi^2$ Divergence based Variational Importance Smpling
• Authors: Chengrui Li, Yule Wang, Weihan Li and Anqi Wu
• Abstract要約: 本稿では,ログ類似度を直接推定し,最大化する新しい変動重要度サンプリング(VIS)手法を提案する。 我々は、混合モデル、変分自動エンコーダ、部分的に観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにVISを適用する。
• 参考スコア（独自算出の注目度）: 2.841087763205822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximizing the log-likelihood is a crucial aspect of learning latent variable models, and variational inference (VI) stands as the commonly adopted method. However, VI can encounter challenges in achieving a high log-likelihood when dealing with complicated posterior distributions. In response to this limitation, we introduce a novel variational importance sampling (VIS) approach that directly estimates and maximizes the log-likelihood. VIS leverages the optimal proposal distribution, achieved by minimizing the forward $\chi^2$ divergence, to enhance log-likelihood estimation. We apply VIS to various popular latent variable models, including mixture models, variational auto-encoders, and partially observable generalized linear models. Results demonstrate that our approach consistently outperforms state-of-the-art baselines, both in terms of log-likelihood and model parameter estimation.
• Abstract（参考訳）: ログの最大化は潜在変数モデルを学ぶ上で重要な側面であり、変分推論(VI)は一般的に採用されている手法である。 しかし、複雑な後続分布を扱う場合、VIは高いログライクな状態を達成する上で困難に直面する可能性がある。 この制限に応えて,ログ類似度を直接推定し,最大化する,新しい変動重要度サンプリング(VIS)手法を導入する。 VISは、forward $\chi^2$ divergence を最小化して達成した最適な提案分布を活用し、ログ類似度推定を強化する。 混合モデル、変分オートエンコーダ、部分観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにvisを適用する。 その結果,本手法は,ログ類似度とモデルパラメータ推定の両面で,最先端のベースラインを一貫して上回ることを示した。

関連論文リスト

• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Rényi Neural Processes [14.11793373584558]
  本稿では,事前の誤特定の影響を改善するためにR'enyi Neural Processs (RNP)を提案する。 密度比 $fracpq$ は (1-$alpha$) の差分勾配で後方に関してスケールする。 実験の結果,最先端のNPファミリーモデルよりも一貫したログライクな改善が見られた。
  論文  参考訳（メタデータ） (2024-05-25T00:14:55Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
  そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。 いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
  論文  参考訳（メタデータ） (2022-07-19T06:28:17Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Improved Prediction and Network Estimation Using the Monotone Single Index Multi-variate Autoregressive Model [34.529641317832024]
  単調単一指数多変量自己回帰モデル(SIMAM)に基づく半パラメトリックアプローチを開発する。 我々は、従属データに対する理論的保証と、交互に投影される勾配降下アルゴリズムを提供する。 シミュレーションデータと2つの実データ例において,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-28T12:32:29Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。