論文の概要: $t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's
t and Power Divergence
- arxiv url: http://arxiv.org/abs/2312.01133v2
- Date: Sun, 3 Mar 2024 08:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 01:30:06.530618
- Title: $t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's
t and Power Divergence
- Title(参考訳): $t^3$-variational autoencoder: 生徒のtとパワーダイバージェンスを用いたヘビーテールデータ学習
- Authors: Juno Kim, Jaehyuk Kwon, Mincheol Cho, Hyunjong Lee, Joong-Ho Won
- Abstract要約: $t3$VAEは、学生のt-distributionsを前者、エンコーダ、デコーダに組み込んだ改良されたVAEフレームワークである。
t3$VAE は CelebA や不均衡な CIFAR-100 データセットにおいて,他のモデルよりも大幅に優れていた。
- 参考スコア(独自算出の注目度): 7.0479532872043755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The variational autoencoder (VAE) typically employs a standard normal prior
as a regularizer for the probabilistic latent encoder. However, the Gaussian
tail often decays too quickly to effectively accommodate the encoded points,
failing to preserve crucial structures hidden in the data. In this paper, we
explore the use of heavy-tailed models to combat over-regularization. Drawing
upon insights from information geometry, we propose $t^3$VAE, a modified VAE
framework that incorporates Student's t-distributions for the prior, encoder,
and decoder. This results in a joint model distribution of a power form which
we argue can better fit real-world datasets. We derive a new objective by
reformulating the evidence lower bound as joint optimization of KL divergence
between two statistical manifolds and replacing with $\gamma$-power divergence,
a natural alternative for power families. $t^3$VAE demonstrates superior
generation of low-density regions when trained on heavy-tailed synthetic data.
Furthermore, we show that $t^3$VAE significantly outperforms other models on
CelebA and imbalanced CIFAR-100 datasets.
- Abstract(参考訳): 変分オートエンコーダ(VAE)は通常、確率潜在エンコーダの正規化器として標準正規化される。
しかし、ガウス尾はしばしば、エンコードされた点に効果的に対応できないほど急速に崩壊し、データに隠された重要な構造を保存できない。
本稿では,オーバーレギュライゼーション対策における重み付きモデルの利用について検討する。
情報幾何学からの洞察に基づいて,学生のt分布を前者,エンコーダ,デコーダに組み込んだ改良型VAEフレームワークである$t^3$VAEを提案する。
これにより、実世界のデータセットに適合できると主張するパワーフォームの連成モデル分布が得られる。
我々は、2つの統計多様体間のKL分散を共同で最適化し、パワーファミリーの自然な代替である$\gamma$-power divergenceに置き換えることで、証拠を下限に修正することで新しい目的を導出する。
$t^3$VAEは、重み付き合成データで訓練された場合の低密度領域の優れた生成を示す。
さらに、$t^3$vaeはcelebaと不均衡なcifar-100データセットの他のモデルを大きく上回っている。
関連論文リスト
- Generative Modeling of Regular and Irregular Time Series Data via
Koopman VAEs [53.91784369229405]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
以上の結果から,KVAEは,合成および実世界の時系列生成ベンチマークにおいて,最先端のGAN法およびVAE法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - Machine Learning Force Fields with Data Cost Aware Training [94.78998399180519]
分子動力学(MD)シミュレーションを加速するために機械学習力場(MLFF)が提案されている。
最もデータ効率のよいMLFFであっても、化学精度に達するには数百フレームの力とエネルギーのラベルが必要になる。
我々は、安価な不正確なデータと高価な正確なデータの組み合わせを利用して、MLFFのデータコストを下げる多段階計算フレームワークASTEROIDを提案する。
論文 参考訳(メタデータ) (2023-06-05T04:34:54Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Variational Diffusion Auto-encoder: Latent Space Extraction from
Pre-trained Diffusion Models [0.0]
可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。
この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。
本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
論文 参考訳(メタデータ) (2023-04-24T14:44:47Z) - Causal Recurrent Variational Autoencoder for Medical Time Series
Generation [12.82521953179345]
時系列xからGranger因果グラフを学習する新しい生成モデルであるCR-VAEを提案する。
我々のモデルは、定性的かつ定量的に、最先端の時系列生成モデルよりも一貫して優れている。
論文 参考訳(メタデータ) (2023-01-16T19:13:33Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳(メタデータ) (2022-09-29T13:49:57Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-23T09:35:03Z) - uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。
我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。
我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
論文 参考訳(メタデータ) (2022-05-23T20:20:27Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - To Regularize or Not To Regularize? The Bias Variance Trade-off in
Regularized AEs [10.611727286504994]
AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。
我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
論文 参考訳(メタデータ) (2020-06-10T14:00:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。