論文の概要: You Only Accept Samples Once: Fast, Self-Correcting Stochastic Variational Inference

• arxiv url: http://arxiv.org/abs/2406.02838v1
• Date: Wed, 5 Jun 2024 01:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 22:26:58.690111
• Title: You Only Accept Samples Once: Fast, Self-Correcting Stochastic Variational Inference
• Title（参考訳）: サンプルを一度だけ受け入れる:高速で自己修正可能な確率的変分推論
• Authors: Dominic B. Dayta,
• Abstract要約: YOASOVI(ヨアソビ)は、ベイズ系大規模モデルにおける変分推論(VI)の高速で自己補正的な直観最適化を行うアルゴリズムである。 これを実現するために、各イテレーションで VI に使用される目的関数について利用可能な情報を活用し、通常のモンテカルロサンプリングを受け入れサンプリングに置き換える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce YOASOVI, an algorithm for performing fast, self-correcting stochastic optimization for Variational Inference (VI) on large Bayesian heirarchical models. To accomplish this, we take advantage of available information on the objective function used for stochastic VI at each iteration and replace regular Monte Carlo sampling with acceptance sampling. Rather than spend computational resources drawing and evaluating over a large sample for the gradient, we draw only one sample and accept it with probability proportional to the expected improvement in the objective. The following paper develops two versions of the algorithm: the first one based on a naive intuition, and another building up the algorithm as a Metropolis-type scheme. Empirical results based on simulations and benchmark datasets for multivariate Gaussian mixture models show that YOASOVI consistently converges faster (in clock time) and within better optimal neighborhoods than both regularized Monte Carlo and Quasi-Monte Carlo VI algorithms.
• Abstract（参考訳）: 大規模なベイズ系モデル上での変分推論(VI)に対する高速で自己修正確率的最適化を行うアルゴリズムである YOASOVI を紹介する。 これを実現するために、各繰り返しにおける確率 VI の目的関数に関する情報を利用して、通常のモンテカルロサンプリングを受入サンプリングに置き換える。 グラデーションのための大きなサンプルを描画・評価するために計算資源を費やすのではなく、1つのサンプルのみを描画し、目標の期待された改善に比例した確率で受け入れる。 下記の論文では, 素直な直観に基づくアルゴリズムと, メトロポリス型スキームとして構築したアルゴリズムの2つのバージョンについて述べる。 多変量ガウス混合モデルのためのシミュレーションとベンチマークデータセットに基づく実験結果から、ヨアソビは正規化モンテカルロと準モンテカルロVIのアルゴリズムよりも、連続的に(時計時間で)より早く、より良い近傍に収束することが示された。

関連論文リスト

• Variational Inference with Gaussian Score Matching [1.2233362977312945]
  本稿では,スコアマッチングの原理に基づくVIに対する新しいアプローチを提案する。 我々は,変分近似と正確な後部とのスコアをマッチングする反復アルゴリズムであるスコアマッチングVIを開発する。 全ての研究で、GSM-VIはBBVIよりも速いが、精度を犠牲にしないことがわかった。
  論文  参考訳（メタデータ） (2023-07-15T16:57:48Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Direct sampling of projected entangled-pair states [0.0]
  投射的絡み合ったペア状態(PEPS)を用いたモンテカルロ変分法(英語版)の研究は、長年の疑問に対する回答を提示できることを最近示した。 本稿では,PEPSから独立したサンプルを生成するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-15T15:09:20Z)
• Adaptive Sequential SAA for Solving Two-stage Stochastic Linear Programs [1.6181085766811525]
  大規模2段階線形プログラムを解くための適応的逐次SAA(sample average approximation)アルゴリズムを提案する。 提案アルゴリズムは,品質の確率論的保証が与えられた解を返すために,有限時間で停止することができる。
  論文  参考訳（メタデータ） (2020-12-07T14:58:16Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)
• Statistical Outlier Identification in Multi-robot Visual SLAM using Expectation Maximization [18.259478519717426]
  本稿では、同時局所化およびマッピング(SLAM)におけるマップ間ループ閉包外乱検出のための、新しい分散手法を提案する。 提案アルゴリズムは優れた初期化に頼らず、一度に2つ以上のマップを処理できる。
  論文  参考訳（メタデータ） (2020-02-07T06:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。