論文の概要: Nested Variational Inference
- arxiv url: http://arxiv.org/abs/2106.11302v1
- Date: Mon, 21 Jun 2021 17:56:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:51:05.842606
- Title: Nested Variational Inference
- Title(参考訳): Nested Variational Inference
- Authors: Heiko Zimmermann, Hao Wu, Babak Esmaeili, Jan-Willem van de Meent
- Abstract要約: 我々は,KLの発散を最小限に抑えることにより,営巣重要サンプルの提案を学習する手法のファミリーを開発する。
ネスト目標の最適化により,ログ平均重量と有効試料サイズの観点から,試料品質が向上することが観察された。
- 参考スコア(独自算出の注目度): 8.610608901689577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop nested variational inference (NVI), a family of methods that learn
proposals for nested importance samplers by minimizing an forward or reverse KL
divergence at each level of nesting. NVI is applicable to many commonly-used
importance sampling strategies and provides a mechanism for learning
intermediate densities, which can serve as heuristics to guide the sampler. Our
experiments apply NVI to (a) sample from a multimodal distribution using a
learned annealing path (b) learn heuristics that approximate the likelihood of
future observations in a hidden Markov model and (c) to perform amortized
inference in hierarchical deep generative models. We observe that optimizing
nested objectives leads to improved sample quality in terms of log average
weight and effective sample size.
- Abstract(参考訳): nested variational inference (nvi) は、各レベルの入れ子レベルでの前方または逆のkl発散を最小化することにより、入れ子の重要性スプリマーの提案を学習する手法群である。
NVIは、多くの一般的な重要なサンプリング戦略に適用でき、中間密度を学習するためのメカニズムを提供しており、サンプルをガイドするヒューリスティックとして機能する。
実験では,NVI を (a) 学習したアニール経路を用いて多モード分布からのサンプルに適用し, (b) 隠れマルコフモデルにおける将来の観測可能性と (c) 階層的な深層生成モデルにおける償却推論を行うためのヒューリスティックスを学習した。
我々は,ネスト目標の最適化が,ログ平均重量と有効サンプルサイズの観点から,サンプル品質の向上につながることを観察した。
関連論文リスト
- On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Towards Informative Few-Shot Prompt with Maximum Information Gain for
In-Context Learning [30.536184852029386]
大規模言語モデル (LLM) は、文脈内学習 (ICL) を行う能力を有する。
LLMは、新しい下流タスクを条件としていくつかのデモを活用することで、ICL(In-context Learning)に参加する能力を持っている。
しかし、この特定の学習パラダイムは、選択されたサンプルの入力分布、順序付け、プロンプトフォーマットなどの要因によって引き起こされる実質的なばらつきから生じる高い不安定さに悩まされる。
論文 参考訳(メタデータ) (2023-10-13T07:49:11Z) - Entropy-based Training Methods for Scalable Neural Implicit Sampler [15.978655106034113]
非正規化対象分布からの効率的なサンプリングは、科学計算と機械学習の基本的な問題である。
本稿では,これらの制約を克服する,効率的でスケーラブルなニューラル暗黙サンプリング手法を提案する。
提案手法では, 提案手法を応用して, 提案手法を用いることにより, 精度の低い大量のサンプルを生成できる。
論文 参考訳(メタデータ) (2023-06-08T05:56:05Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution
Samples [19.311470287767385]
そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。
提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
論文 参考訳(メタデータ) (2022-06-08T18:59:21Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳(メタデータ) (2021-02-08T20:08:50Z) - Relaxed-Responsibility Hierarchical Discrete VAEs [3.976291254896486]
textitRelaxed-Responsibility Vector-Quantisationを導入する。
我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
論文 参考訳(メタデータ) (2020-07-14T19:10:05Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳(メタデータ) (2020-06-16T03:43:59Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。