論文の概要: FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders

• arxiv url: http://arxiv.org/abs/2209.12806v1
• Date: Mon, 26 Sep 2022 15:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 16:58:47.839091
• Title: FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders
• Title（参考訳）: fondue:変分オートエンコーダの潜在表現の最適次元を求めるアルゴリズム
• Authors: Lisa Bonheme and Marek Grzes
• Abstract要約: 本稿では,データの本質的次元推定(IDE)と,VAEが学習した潜在表現について検討する。 平均値とサンプル値との平均値との差は,数段階の訓練で潜在空間に受動的変数が存在することが判明した。 FONDUE: 平均およびサンプル表現が分岐し始めた後, 遅延次元の個数を素早く見つけるアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.969705152497174
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When training a variational autoencoder (VAE) on a given dataset, determining the optimal number of latent variables is mostly done by grid search: a costly process in terms of computational time and carbon footprint. In this paper, we explore the intrinsic dimension estimation (IDE) of the data and latent representations learned by VAEs. We show that the discrepancies between the IDE of the mean and sampled representations of a VAE after only a few steps of training reveal the presence of passive variables in the latent space, which, in well-behaved VAEs, indicates a superfluous number of dimensions. Using this property, we propose FONDUE: an algorithm which quickly finds the number of latent dimensions after which the mean and sampled representations start to diverge (i.e., when passive variables are introduced), providing a principled method for selecting the number of latent dimensions for VAEs and autoencoders.
• Abstract（参考訳）: 与えられたデータセット上で変分オートエンコーダ(VAE)をトレーニングする場合、遅延変数の最適数を決定するのは主にグリッドサーチ(計算時間と炭素フットプリントのコストの高いプロセス)によって行われる。 本稿では,データの本質的次元推定(IDE)と,VAEが学習した潜在表現について検討する。 その結果,vaeの平均値のideとサンプルされたvaeの表現との差は,わずか数ステップの訓練によって潜在空間におけるパッシブ変数の存在が明らかとなり,vaesは超流動な次元を示すことがわかった。 この特性を用いて,平均表現と標本表現が発散し始める潜在次元の数(すなわち受動的変数が導入されたとき)を素早く求めるアルゴリズムであるfanceueを提案し,vaesとオートエンコーダの潜在次元数を選択するための原理的手法を提案する。

関連論文リスト

• Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses [0.0]
  既存の変分法を統合するためのフレームワークを導入し、新しいものを設計する。 データの構造によくマッチするアルゴリズムは、より優れた潜在空間を生成することを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:59:58Z)
• GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
  ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。 非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。 GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
  論文  参考訳（メタデータ） (2023-02-13T18:24:21Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation [56.04628143914542]
  拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。 本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。 我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
  論文  参考訳（メタデータ） (2022-10-10T18:49:25Z)
• RENs: Relevance Encoding Networks [0.0]
  本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。 提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
  論文  参考訳（メタデータ） (2022-05-25T21:53:48Z)
• Sparse Infinite Random Feature Latent Variable Modeling [6.063419970703021]
  後続空間において、潜在空間におけるインスタンス化された次元の数は有限であることが保証される。 従来の潜在変数モデルよりも優れたテストセット性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-20T00:29:28Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding [52.48298164494608]
  変分オートエンコーダ(VAE)は、各入力データに対応する潜伏変数の後方パラメータを推定する。 本稿では,VAEの微分幾何学的および情報理論的解釈を通じて,VAEの特性を定量的に理解する。
  論文  参考訳（メタデータ） (2020-07-30T02:37:46Z)
• Longitudinal Variational Autoencoder [1.4680035572775534]
  不足値を含む高次元データを解析するための一般的なアプローチは、変分オートエンコーダ(VAE)を用いた低次元表現を学習することである。 標準的なVAEは、学習した表現はi.d.であり、データサンプル間の相関を捉えることができないと仮定する。 本稿では,多出力加法的ガウス過程(GP)を用いて,構造化された低次元表現を学習するVAEの能力を拡張した縦型VAE(L-VAE)を提案する。 我々の手法は時間変化の共有効果とランダム効果の両方に同時に対応でき、構造化された低次元表現を生成する。
  論文  参考訳（メタデータ） (2020-06-17T10:30:14Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
  サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。 分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
  論文  参考訳（メタデータ） (2020-03-04T16:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。