論文の概要: Variational Rank Reduction Autoencoder

• arxiv url: http://arxiv.org/abs/2505.09458v1
• Date: Wed, 14 May 2025 15:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.507226
• Title: Variational Rank Reduction Autoencoder
• Title（参考訳）: 変量低減オートエンコーダ
• Authors: Jad Mounayer, Alicia Tierz, Jerome Tomezyk, Chady Ghnatios, Francisco Chinesta,
• Abstract要約: 本稿では、RRAEとVAEの両方の利点を生かしたモデルとして、変動ランク低減オートエンコーダ(VRRAE)を提案する。 私たちの結果には、VRRAEの破壊に対する堅牢性を示す小さなサイズの合成データセットと、3つの実世界のデータセットが含まれています。
• 参考スコア（独自算出の注目度）: 1.3980986259786223
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deterministic Rank Reduction Autoencoders (RRAEs) enforce by construction a regularization on the latent space by applying a truncated SVD. While this regularization makes Autoencoders more powerful, using them for generative purposes is counter-intuitive due to their deterministic nature. On the other hand, Variational Autoencoders (VAEs) are well known for their generative abilities by learning a probabilistic latent space. In this paper, we present Variational Rank Reduction Autoencoders (VRRAEs), a model that leverages the advantages of both RRAEs and VAEs. Our claims and results show that when carefully sampling the latent space of RRAEs and further regularizing with the Kullback-Leibler (KL) divergence (similarly to VAEs), VRRAEs outperform RRAEs and VAEs. Additionally, we show that the regularization induced by the SVD not only makes VRRAEs better generators than VAEs, but also reduces the possibility of posterior collapse. Our results include a synthetic dataset of a small size that showcases the robustness of VRRAEs against collapse, and three real-world datasets; the MNIST, CelebA, and CIFAR-10, over which VRRAEs are shown to outperform both VAEs and RRAEs on many random generation and interpolation tasks based on the FID score.
• Abstract（参考訳）: 終端SVDを適用して潜在空間上の正規化を構築することで、決定論的ランクダウンオートエンコーダ(RRAE)を強制する。 この正規化によりオートエンコーダはより強力になるが、生成目的に使用することは決定論的性質のため直感に反する。 一方、変分オートエンコーダ(VAE)は確率的潜在空間を学習することで、その生成能力で知られている。 本稿では、RRAEとVAEの両方の利点を利用するモデルであるVRRAEを提案する。 我々の主張と結果は、RRAEの潜伏空間を慎重にサンプリングし、Kullback-Leibler (KL) の発散(VAEと似ている)により、VRRAEはRRAEとVAEよりも優れていたことを示している。 さらに, SVDにより誘導される正規化は, VAEsよりもVRRAEsをより良く生成するだけでなく, 後部崩壊の可能性を低減させることを示した。 本研究の結果は,VRRAEの崩壊に対する堅牢性を示す小型のデータセットと,MNIST,CelebA,CIFAR-10の3つの実世界のデータセットを含む。

関連論文リスト

• Bench2Drive-R: Turning Real World Data into Reactive Closed-Loop Autonomous Driving Benchmark by Generative Model [63.336123527432136]
  我々は,リアクティブ閉ループ評価を可能にする生成フレームワークであるBench2Drive-Rを紹介する。 既存の自動運転用ビデオ生成モデルとは異なり、提案された設計はインタラクティブなシミュレーションに適したものである。 我々は、Bench2Drive-Rの生成品質を既存の生成モデルと比較し、最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-12-11T06:35:18Z)
• Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study [52.91899050612153]
  自動音声認識(ASR)のためのエンコーダとして再利用された事前訓練言語モデル(PLM)内のトランスフォーマー 本研究は,事前学習したLMのトランスフォーマーを組み込んだASRタスクにおいて,文字誤り率 (CER) とワード誤り率 (WER) の顕著な改善が認められた。 このことは、事前訓練されたトランスフォーマーに埋め込まれたセマンティックな技術を活用して、ASRシステムの能力を向上させる可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-26T11:31:18Z)
• Rank Reduction Autoencoders [3.180674374101366]
  我々は、新しい決定論的オートエンコーダ、ランク削減オートエンコーダ(RRAE)を導入する。 RRAEでは、ボトルネックは潜在行列のランクによって定義され、これによりエンコーダ/デコーダアーキテクチャのボトルネックサイズへの依存性が軽減される。 RRAEとARRAEはどちらも安定し,スケーラブルで,信頼性が高いことを実証的に実証した。
  論文  参考訳（メタデータ） (2024-05-22T20:33:09Z)
• VQ-T: RNN Transducers using Vector-Quantized Prediction Network States [52.48566999668521]
  本稿では,RNNトランスデューサの予測ネットワークにおけるベクトル量子化長短期記憶単位を提案する。 ASRネットワークと協調して離散表現を訓練することにより、格子生成のために仮説を積極的にマージすることができる。 提案するVQ RNNトランスデューサは,通常の予測ネットワークを持つトランスデューサよりもASR性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-03T02:45:52Z)
• Embrace the Gap: VAEs Perform Independent Mechanism Analysis [36.686468842036305]
  ほぼ決定論的デコーダの極限における非線形VAEについて検討する。 我々は、データ生成プロセスがIMAの仮定を満たすとき、VAEが真の潜伏要因を明らかにすることを示す。
  論文  参考訳（メタデータ） (2022-06-06T08:19:19Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE [51.09507030387935]
  Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:55:47Z)
• Statistical Regeneration Guarantees of the Wasserstein Autoencoder with Latent Space Consistency [14.07437185521097]
  We investigated the statistics of Wasserstein Autoencoder (WAE)。 We provide statistics guarantees that WAE achieves the target distribution in the latent space。 本研究は、WAEが潜在法則の形で圧縮された後に再構築できる分布のクラスを示唆している。
  論文  参考訳（メタデータ） (2021-10-08T09:26:54Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Variational Auto-Encoder: not all failures are equal [0.0]
  我々は,VAEのぼかし問題に対して,鋭さ学習がいかに対処しているかを示す。 この論文は、人工データ(MNISTとCelebA)の実験に基づいており、その鋭さ学習が、悪名高いVAEのぼかし問題にどのように対処するかを示している。
  論文  参考訳（メタデータ） (2020-03-04T09:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。