Fugu-MT 論文翻訳(概要): Recursive Inference for Variational Autoencoders

論文の概要: Recursive Inference for Variational Autoencoders

arxiv url: http://arxiv.org/abs/2011.08544v1
Date: Tue, 17 Nov 2020 10:22:12 GMT
ステータス: 処理完了
システム内更新日: 2022-09-24 16:03:25.210210
Title: Recursive Inference for Variational Autoencoders
Title（参考訳）: 変分オートエンコーダの帰納的推論
Authors: Minyoung Kim, Vladimir Pavlovic
Abstract要約: 従来の変分オートエンコーダ(VAE)の推論ネットワークは典型的に償却される。この欠点に対処するために、最近の半修正アプローチが提案されている。精度の高い償却推論アルゴリズムを導入する。
参考スコア（独自算出の注目度）: 34.552283758419506
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Inference networks of traditional Variational Autoencoders (VAEs) are typically amortized, resulting in relatively inaccurate posterior approximation compared to instance-wise variational optimization. Recent semi-amortized approaches were proposed to address this drawback; however, their iterative gradient update procedures can be computationally demanding. To address these issues, in this paper we introduce an accurate amortized inference algorithm. We propose a novel recursive mixture estimation algorithm for VAEs that iteratively augments the current mixture with new components so as to maximally reduce the divergence between the variational and the true posteriors. Using the functional gradient approach, we devise an intuitive learning criteria for selecting a new mixture component: the new component has to improve the data likelihood (lower bound) and, at the same time, be as divergent from the current mixture distribution as possible, thus increasing representational diversity. Compared to recently proposed boosted variational inference (BVI), our method relies on amortized inference in contrast to BVI's non-amortized single optimization instance. A crucial benefit of our approach is that the inference at test time requires a single feed-forward pass through the mixture inference network, making it significantly faster than the semi-amortized approaches. We show that our approach yields higher test data likelihood than the state-of-the-art on several benchmark datasets.
Abstract（参考訳）: 従来の変分オートコーダ(VAE)の推論ネットワークは、典型的には、インスタンスワイド変分最適化と比較して比較的不正確な後部近似をもたらす。この欠点に対処するために、最近の半修正手法が提案されているが、反復的な勾配更新手順は計算的に要求される。本稿では,これらの問題に対処するために,正確な補正推論アルゴリズムを提案する。本稿では,VAEに対する新しい再帰混合推定アルゴリズムを提案する。これは,変動と真の後部とのばらつきを最大に抑えるために,電流混合を新しい成分で反復的に増強するものである。関数勾配法を用いて,新しい混合成分を選択するための直感的な学習基準を考案する。新しい成分は,データの可能性(より低い境界)を改善し,同時に,現在の混合成分の分布から可能な限り逸脱し,表現の多様性を増大させる。最近提案されたboosted variational inference (bvi)と比較すると,本手法はbviの非amortized single optimizationインスタンスとは対照的に,amortized inferenceに依存している。このアプローチの重要な利点は、テスト時の推論が混合推論ネットワークを通る単一のフィードフォワードパスを必要とすることである。提案手法は,いくつかのベンチマークデータセットの最先端データよりも高いテスト結果が得られることを示す。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
Nonparametric Automatic Differentiation Variational Inference with Spline Approximation [7.5620760132717795]
複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
論文参考訳（メタデータ） (2024-03-10T20:22:06Z)
Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
論文参考訳（メタデータ） (2024-02-03T13:35:39Z)
Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
逆問題の正規化は、計算イメージングにおいて最重要となる。本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
論文参考訳（メタデータ） (2023-11-29T15:49:31Z)
Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文参考訳（メタデータ） (2022-11-30T18:59:27Z)
AdaTerm: Adaptive T-Distribution Estimated Robust Moments for Noise-Robust Stochastic Gradient Optimization [14.531550983885772]
本稿では,学生のt分布を取り入れた新しいアプローチであるAdaTermを提案する。これは最適化プロセスの統一的な処理を提供し、初めてt分布の統計モデルの下で包括的なフレームワークを提供する。
論文参考訳（メタデータ） (2022-01-18T03:13:19Z)
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文参考訳（メタデータ） (2021-10-24T07:58:13Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Reducing the Amortization Gap in Variational Autoencoders: A Bayesian Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文参考訳（メタデータ） (2021-02-05T13:01:12Z)
Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
論文参考訳（メタデータ） (2020-05-21T06:11:33Z)
Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation [10.742065340992525]
Alternating Direction Method of Multipliers (ADMM) は分散学習において一般的な計算方法である。トレーニングデータが機密性のある場合には、交換されたイテレートが深刻なプライバシー上の懸念を引き起こす。本稿では,様々な凸学習問題に対する精度の向上を図った分散ADMMを提案する。
論文参考訳（メタデータ） (2020-05-16T07:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。