論文の概要: Analytical Probability Distributions and EM-Learning for Deep Generative Networks

• arxiv url: http://arxiv.org/abs/2006.10023v1
• Date: Wed, 17 Jun 2020 17:35:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:41:28.789783
• Title: Analytical Probability Distributions and EM-Learning for Deep Generative Networks
• Title（参考訳）: 深層生成ネットワークにおける解析確率分布とem学習
• Authors: Randall Balestriero, Sebastien Paris, Richard G. Baraniuk
• Abstract要約: 出力と潜伏空間の確率的モデリングを備えたDeep Generative Networks (DGNs) は現在、変分オートエンコーダ (VAEs) を用いて訓練されている。 後部および予想予測のための既知の分析形式がないため、VAEは(AVI)変分推論(英語版)やモンテカルロサンプリング(英語版)などの近似に頼っている。 我々は, 現代DGNの連続ピアースワイドアフィン(CPA)特性を利用して, 後縁分布と辺縁分布を導出する。 我々は,DGNsのEMトレーニングがVAEトレーニングよりも高い可能性をもたらすことを実証的に実証した。
• 参考スコア（独自算出の注目度）: 29.319553019103868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Generative Networks (DGNs) with probabilistic modeling of their output and latent space are currently trained via Variational Autoencoders (VAEs). In the absence of a known analytical form for the posterior and likelihood expectation, VAEs resort to approximations, including (Amortized) Variational Inference (AVI) and Monte-Carlo (MC) sampling. We exploit the Continuous Piecewise Affine (CPA) property of modern DGNs to derive their posterior and marginal distributions as well as the latter's first moments. These findings enable us to derive an analytical Expectation-Maximization (EM) algorithm that enables gradient-free DGN learning. We demonstrate empirically that EM training of DGNs produces greater likelihood than VAE training. Our findings will guide the design of new VAE AVI that better approximate the true posterior and open avenues to apply standard statistical tools for model comparison, anomaly detection, and missing data imputation.
• Abstract（参考訳）: 出力と潜在空間の確率的モデリングを伴うディープジェネレーションネットワーク(dgns)は現在、変分オートエンコーダ(vaes)を介して訓練されている。 後方および帰納的期待に関する既知の分析形式が存在しない場合、vaes は(amortized) variational inference (avi) や monte-carlo (mc) サンプリングを含む近似に依存する。 我々は,現代DGNの連続的ピアースアフィン(CPA)特性を利用して,その後縁分布と辺縁分布,および後者の最初の瞬間を導出する。 これらの結果から,勾配フリーなdgn学習を可能にする解析的期待最大化(em)アルゴリズムを導出することができる。 実験により,DGNsのEMトレーニングはVAEトレーニングよりも高い可能性が示唆された。 本研究は, モデル比較, 異常検出, 欠落データ計算に標準統計ツールを適用するために, 後部および開路を近似した新しいVAE AVIの設計を導くものである。

関連論文リスト

• Out of Distribution Detection via Domain-Informed Gaussian Process State Space Models [22.24457254575906]
  ロボットが見えないシナリオを安全にナビゲートするためには、オンラインのトレーニング外配布(OoD)状況を正確に検出することが重要である。 我々は,既存のドメイン知識をカーネルに埋め込む新しい手法を提案し,また(ii)遅延水平予測に基づくOoDオンラインランタイムモニタを提案する。
  論文  参考訳（メタデータ） (2023-09-13T01:02:42Z)
• Amortised Inference in Bayesian Neural Networks [0.0]
  Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。 補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。 次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
  論文  参考訳（メタデータ） (2023-09-06T14:02:33Z)
• Neural Posterior Estimation with Differentiable Simulators [58.720142291102135]
  微分可能シミュレータを用いてニューラル・ポストミラー推定(NPE)を行う新しい手法を提案する。 勾配情報が後部形状の制約にどのように役立ち、試料効率を向上させるかを示す。
  論文  参考訳（メタデータ） (2022-07-12T16:08:04Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
  近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。 変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。 本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
  論文  参考訳（メタデータ） (2021-11-30T18:28:19Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Online Tensor-Based Learning for Multi-Way Data [1.0953917735844645]
  オンラインの$CANDECOMP/PARAFAC$分解のために、新しい効率的なテンソルベースの特徴抽出法NeSGDが提案されている。 その結果,提案手法は分類誤り率を大幅に改善し,時間とともに正のデータ分布の変化を同化することができ,全てのケーススタディにおいて高い予測精度を維持した。
  論文  参考訳（メタデータ） (2020-03-10T02:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。