Fugu-MT 論文翻訳(概要): The Neglected Sibling: Isotropic Gaussian Posterior for VAE

論文の概要: The Neglected Sibling: Isotropic Gaussian Posterior for VAE

arxiv url: http://arxiv.org/abs/2110.07383v1
Date: Thu, 14 Oct 2021 14:12:52 GMT
ステータス: 処理完了
システム内更新日: 2021-10-15 20:32:21.790994
Title: The Neglected Sibling: Isotropic Gaussian Posterior for VAE
Title（参考訳）: ネグレクト兄弟 : VAE用異方性ガウス後部
Authors: Lan Zhang, Wray Buntine, Ehsan Shareghi
Abstract要約: 異方性ガウス後部(IGP)を用いた変分オートエンコーダ(VAE)の簡易な修正を提案する。このモデルは、表現空間における不活性次元に関連するVAEの準最適挙動を避ける。
参考スコア（独自算出の注目度）: 5.377898309773304
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Deep generative models have been widely used in several areas of NLP, and various techniques have been proposed to augment them or address their training challenges. In this paper, we propose a simple modification to Variational Autoencoders (VAEs) by using an Isotropic Gaussian Posterior (IGP) that allows for better utilisation of their latent representation space. This model avoids the sub-optimal behavior of VAEs related to inactive dimensions in the representation space. We provide both theoretical analysis, and empirical evidence on various datasets and tasks that show IGP leads to consistent improvement on several quantitative and qualitative grounds, from downstream task performance and sample efficiency to robustness. Additionally, we give insights about the representational properties encouraged by IGP and also show that its gain generalises to image domain as well.
Abstract（参考訳）: 深層生成モデルはNLPのいくつかの領域で広く使われており、それらを増強したり、トレーニング課題に対処するために様々な技術が提案されている。本稿では,その潜在表現空間をより有効活用できる等方性ガウス後部(igp)を用いて,変分オートエンコーダ(vaes)の簡易な修正を提案する。このモデルは、表現空間における不活性次元に関連するVAEの準最適挙動を避ける。我々は,様々なデータセットおよびタスクに関する理論的解析および実証的証拠を共に提供し,IGPが下流タスク性能やサンプル効率からロバストネスに至るまで,いくつかの量的および質的根拠において一貫した改善をもたらすことを示す。さらに、GPにより奨励される表現特性に関する洞察を与え、その利得が画像領域にも一般化されることを示す。

関連論文リスト

$α$-TCVAE: On the relationship between Disentanglement and Diversity [21.811889512977924]
本稿では,新しい全相関(TC)下界を用いて最適化された変分オートエンコーダである$alpha$-TCVAEを紹介する。本稿では,不整合表現がより優れた生成能力と多様性をもたらすという考えを支持する定量的分析について述べる。以上の結果から,$alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,より多様な観測結果を生成することが示された。
論文参考訳（メタデータ） (2024-11-01T13:50:06Z)
Theoretical Convergence Guarantees for Variational Autoencoders [2.8167997311962942]
変分オートエンコーダ(VAE)は、複雑なデータ分布からサンプリングするために使われる一般的な生成モデルである。本稿では, グラディエントDescentアルゴリズムとAdamアルゴリズムの両方を用いてトレーニングしたVAEに対して, 非漸近収束保証を提供することにより, このギャップを埋めることを目的とする。我々の理論的分析は、Linear VAEとDeep Gaussian VAEの両方、および$beta$-VAEやIWAEを含むいくつかのVAEの変種に適用できる。
論文参考訳（メタデータ） (2024-10-22T07:12:38Z)
QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
論文参考訳（メタデータ） (2024-10-08T13:21:48Z)
Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes [7.4468224549568705]
ガウス過程(GP)は、表現を学習する能力の欠如により、ディープニューラルネットワーク(NN)と比較されることがしばしばある。 GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変分GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
論文参考訳（メタデータ） (2023-04-27T09:00:02Z)
VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2023-04-03T13:13:19Z)
A Generalized EigenGame with Extensions to Multiview Representation Learning [0.28647133890966997]
一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。我々は、ラグランジュ乗算器によって全ての制約がソフトに強制されるGEPの解法を開発する。線形の場合、我々のアプローチは、以前のヘビアンとゲーム理論のアプローチの理論的根拠の多くを共有していることを示す。標準マルチビューデータセットの設定におけるGEPの解法の有効性を実証する。
論文参考訳（メタデータ） (2022-11-21T10:11:13Z)
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文参考訳（メタデータ） (2021-10-24T07:58:13Z)
Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
論文参考訳（メタデータ） (2021-07-27T08:59:39Z)
High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning [119.91679702854499]
本研究では,高次元の入力空間上でベイズ最適化を行うためのディープ・メトリック・ラーニングに基づく手法を提案する。このような帰納バイアスを、利用可能なラベル付きデータの1%だけを用いて達成する。実証的な貢献として、実世界の高次元ブラックボックス最適化問題に対する最先端の結果を示す。
論文参考訳（メタデータ） (2021-06-07T13:35:47Z)
Latent Map Gaussian Processes for Mixed Variable Metamodeling [0.0]
GPの魅力的な特性を継承するが、混合データにも適用できる潜在写像ガウス過程(LMGP)を導入する。 LMGPは可変長入力を処理でき、定性的入力が応答にどのように影響するか、相互に相互作用するかについての洞察を提供する。また, LMGPのニューラルネットワーク解釈を行い, 先行潜時表現が性能に与える影響について検討する。
論文参考訳（メタデータ） (2021-02-07T22:21:53Z)
Self-Guided Adaptation: Progressive Representation Alignment for Domain Adaptive Object Detection [86.69077525494106]
非教師なしドメイン適応(UDA)は、オブジェクト検出モデルのドメイン間ロバスト性を改善するために前例のない成功を収めた。既存のUDA手法は、モデル学習中の瞬間的なデータ分布を無視しており、大きなドメインシフトによって特徴表現が劣化する可能性がある。本稿では、特徴表現の整合とドメイン間のオブジェクト検出モデルの転送を目標とする自己ガイド適応モデルを提案する。
論文参考訳（メタデータ） (2020-03-19T13:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。