論文の概要: Automatic Differentiation Variational Inference with Mixtures

• arxiv url: http://arxiv.org/abs/2003.01687v4
• Date: Wed, 24 Jun 2020 17:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 22:08:32.241501
• Title: Automatic Differentiation Variational Inference with Mixtures
• Title（参考訳）: 混合物を用いた自動微分変分推論
• Authors: Warren R. Morningstar, Sharad M. Vikram, Cusuh Ham, Andrew Gallagher, Joshua V. Dillon
• Abstract要約: 本研究では, 混合分布を近似後部として利用するために, 層状サンプリングを用いる方法を示す。 我々は、重要重み付きオートエンコーダ(IWAE)に類似したエビデンスに基づく新しい下界を導出する。
• 参考スコア（独自算出の注目度）: 4.995383193706478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic Differentiation Variational Inference (ADVI) is a useful tool for efficiently learning probabilistic models in machine learning. Generally approximate posteriors learned by ADVI are forced to be unimodal in order to facilitate use of the reparameterization trick. In this paper, we show how stratified sampling may be used to enable mixture distributions as the approximate posterior, and derive a new lower bound on the evidence analogous to the importance weighted autoencoder (IWAE). We show that this "SIWAE" is a tighter bound than both IWAE and the traditional ELBO, both of which are special instances of this bound. We verify empirically that the traditional ELBO objective disfavors the presence of multimodal posterior distributions and may therefore not be able to fully capture structure in the latent space. Our experiments show that using the SIWAE objective allows the encoder to learn more complex distributions which regularly contain multimodality, resulting in higher accuracy and better calibration in the presence of incomplete, limited, or corrupted data.
• Abstract（参考訳）: 自動微分変分推論(ADVI)は機械学習において確率モデルを効率的に学習するための有用なツールである。 一般にadviによって学習された近似後方は、再パラメータ化トリックの使用を容易にするためにユニモーダルに強制される。 本稿では, 重み付きオートエンコーダ (IWAE) に類似したエビデンスに基づいて, 混合分布を近似後部として利用し, 新たな下界を導出する方法について述べる。 この「SIWAE」は、IWAEと従来のELBOよりも厳密な境界であり、どちらもこの境界の特別な例である。 従来のelbo目標がマルチモーダル後方分布の存在に不利であり、従って潜在空間の構造を完全に捉えることができないことを実証的に検証する。 実験の結果、SIWAEの目的により、エンコーダは多モード性を含むより複雑な分布を学習でき、不完全、制限、あるいは破損したデータの存在下での精度とキャリブレーションが向上することがわかった。

関連論文リスト

• FFHFlow: A Flow-based Variational Approach for Multi-fingered Grasp Synthesis in Real Time [19.308304984645684]
  正規化フロー(NF)に基づくDGM(Deep Generative Model)の利用を提案する。 我々はまず,不完全点雲上に条件付きグリップ分布を学習するために,単一条件NF(cNFs)を直接適用することにより,多様性の向上を推し進めた。 これにより、我々は新しいフローベースd Deep Latent Variable Model (DLVM)を開発する動機となった。 変分オートエンコーダ(VAE)とは異なり、提案するDLVMは2つのcNFを事前分布と可能性分布に利用することにより、典型的な落とし穴に対処する。
  論文  参考訳（メタデータ） (2024-07-21T13:33:08Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs [10.611727286504994]
  AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。 我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
  論文  参考訳（メタデータ） (2020-06-10T14:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。