論文の概要: Mutual Information Constraints for Monte-Carlo Objectives
- arxiv url: http://arxiv.org/abs/2012.00708v1
- Date: Tue, 1 Dec 2020 18:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 20:13:10.537261
- Title: Mutual Information Constraints for Monte-Carlo Objectives
- Title（参考訳）: モンテカルロ目的のための相互情報制約
- Authors: G\'abor Melis, Andr\'as Gy\"orgy, Phil Blunsom
- Abstract要約: 変分オートエンコーダとして訓練された密度モデルの一般的な失敗モードは、潜在変数に頼ることなくデータをモデル化することであり、これらの変数は役に立たない。
これら2つの研究、特にモンテカルロの目的の厳密な境界と観測変数と潜伏変数の間の相互情報に関する制約を共に織り込んだ。
本研究の目的は, 連続潜水モデルと離散潜水モデルを用いて, 速度歪みを著しく改善し, 破壊を伴わないモデルを用いて, 真後部のKulback-Leibler偏差の推定器を構築することである。
- 参考スコア（独自算出の注目度）: 21.70557526001205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common failure mode of density models trained as variational autoencoders
is to model the data without relying on their latent variables, rendering these
variables useless. Two contributing factors, the underspecification of the
model and the looseness of the variational lower bound, have been studied
separately in the literature. We weave these two strands of research together,
specifically the tighter bounds of Monte-Carlo objectives and constraints on
the mutual information between the observable and the latent variables.
Estimating the mutual information as the average Kullback-Leibler divergence
between the easily available variational posterior $q(z|x)$ and the prior does
not work with Monte-Carlo objectives because $q(z|x)$ is no longer a direct
approximation to the model's true posterior $p(z|x)$. Hence, we construct
estimators of the Kullback-Leibler divergence of the true posterior from the
prior by recycling samples used in the objective, with which we train models of
continuous and discrete latents at much improved rate-distortion and no
posterior collapse. While alleviated, the tradeoff between modelling the data
and using the latents still remains, and we urge for evaluating inference
methods across a range of mutual information values.
- Abstract（参考訳）: 変分オートエンコーダとして訓練された密度モデルの一般的な失敗モードは、潜在変数に頼ることなくデータをモデル化することであり、これらの変数は役に立たない。
モデルの過小分類と変分下界のゆるさという2つの寄与因子は、文献の中で別々に研究されている。
これら2つの研究、特にモンテカルロの目的の厳密な境界と観測変数と潜伏変数の間の相互情報に関する制約を共に織り込んだ。
q(z|x)$ はモデルの真の後値 $p(z|x)$ の直接近似ではないため、容易に使用可能な変分後値$q(z|x)$ とモンテカルロ目的との間の平均的なkullback-leibler 分岐として相互情報を推定することは、もはや機能しない。
そこで, 本研究の目的は, 連続潜水モデルと離散潜水モデルの訓練を行い, 速度歪みを著しく改善し, 後部崩壊を起こさないことで, 真後部のKulback-Leibler偏差の推定器を構築することである。
緩和しつつも、データモデリングと潜在子の使用の間のトレードオフは依然として残っており、様々な相互情報値に対する推論手法の評価を推奨する。
関連論文リスト
- Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳（メタデータ） (2024-05-31T16:18:46Z) - Forward $\chi^2$ Divergence Based Variational Importance Sampling [2.841087763205822]
本稿では,ログ類似度を直接推定し,最大化する新しい変動重要度サンプリング(VIS)手法を提案する。
我々は、混合モデル、変分自動エンコーダ、部分的に観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにVISを適用する。
論文 参考訳（メタデータ） (2023-11-04T21:46:28Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Conservative Bayesian Model-Based Value Expansion for Offline Policy
Optimization [41.774837419584735]
オフライン強化学習(英語版) (RL) は、ある行動ポリシーに従って収集された固定されたデータのバッチからパフォーマンスポリシーを学習する問題に対処する。
モデルベースのアプローチは、環境のモデルを学ぶことによって、ログ化されたデータセットからより多くの学習信号を抽出できるため、特に魅力的である。
論文 参考訳（メタデータ） (2022-10-07T20:13:50Z) - On the detrimental effect of invariances in the likelihood for
variational inference [21.912271882110986]
変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。
これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
論文 参考訳（メタデータ） (2022-09-15T09:13:30Z) - Scalable Semi-Modular Inference with Variational Meta-Posteriors [0.0]
カット後部推論と半モジュラー推論は、モジュラーベイズ証拠の組み合わせに対する一般化ベイズ法である。
複数カットを持つモデルの解析は,新しい変分メタ・ポストミラーを用いて実現可能であることを示す。
これは、一組の変分パラメータを使って$eta$でインデックス付けされたSMI後続の族を近似する。
論文 参考訳（メタデータ） (2022-04-01T09:01:20Z) - Model-Augmented Q-learning [112.86795579978802]
モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。
具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。
提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
論文 参考訳（メタデータ） (2021-02-07T17:56:50Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳（メタデータ） (2020-10-27T17:54:12Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Meta-Learning with Shared Amortized Variational Inference [33.54630534228469]
経験的ベイズメタラーニングモデルのための新しいアモータイズされた変分推論手法を提案する。
変動型オートエンコーダ手法を用いて、限られた訓練データに条件付きモデルパラメータの事前分布を学習する。
論文 参考訳（メタデータ） (2020-08-27T10:28:13Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳（メタデータ） (2020-07-21T08:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。