論文の概要: Latent Space Characterization of Autoencoder Variants

• arxiv url: http://arxiv.org/abs/2412.04755v1
• Date: Fri, 06 Dec 2024 03:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:55.285347
• Title: Latent Space Characterization of Autoencoder Variants
• Title（参考訳）: オートエンコーダバリアントの潜時空間特性
• Authors: Anika Shrivastava, Renu Rameshan, Samar Agnihotri,
• Abstract要約: 我々は、畳み込みオートエンコーダ(CAE)、復調オートエンコーダ(DAE)、変分オートエンコーダ(VAE)など、様々なオートエンコーダによって学習される潜伏空間の構造を特徴付ける。 また、距離保存変換を用いて行列多様体の点をヒルベルト空間に写像し、ヒルベルト空間で生成される部分空間を入力の歪みの関数として別のビューとする。
• 参考スコア（独自算出の注目度）: 2.2940141855172036
• License:
• Abstract: Understanding the latent spaces learned by deep learning models is crucial in exploring how they represent and generate complex data. Autoencoders (AEs) have played a key role in the area of representation learning, with numerous regularization techniques and training principles developed not only to enhance their ability to learn compact and robust representations, but also to reveal how different architectures influence the structure and smoothness of the lower-dimensional non-linear manifold. We strive to characterize the structure of the latent spaces learned by different autoencoders including convolutional autoencoders (CAEs), denoising autoencoders (DAEs), and variational autoencoders (VAEs) and how they change with the perturbations in the input. By characterizing the matrix manifolds corresponding to the latent spaces, we provide an explanation for the well-known observation that the latent spaces of CAE and DAE form non-smooth manifolds, while that of VAE forms a smooth manifold. We also map the points of the matrix manifold to a Hilbert space using distance preserving transforms and provide an alternate view in terms of the subspaces generated in the Hilbert space as a function of the distortion in the input. The results show that the latent manifolds of CAE and DAE are stratified with each stratum being a smooth product manifold, while the manifold of VAE is a smooth product manifold of two symmetric positive definite matrices and a symmetric positive semi-definite matrix.
• Abstract（参考訳）: ディープラーニングモデルによって学習された潜伏空間を理解することは、それらが複雑なデータをどのように表現し、生成するかを探求する上で不可欠である。 オートエンコーダ(AE)は表現学習において重要な役割を担い、多数の正規化技術や訓練原則が発達し、コンパクトで堅牢な表現を学習する能力を高めるだけでなく、異なるアーキテクチャが低次元の非線形多様体の構造と滑らかさにどのように影響するかを明らかにするためにも発展した。 我々は、畳み込みオートエンコーダ(CAE)、デノナイズオートエンコーダ(DAE)、変分オートエンコーダ(VAE)など、様々なオートエンコーダによって学習される潜伏空間の構造と、入力の摂動によってどのように変化するかを特徴付ける。 潜在空間に対応する行列多様体を特徴づけることにより、CAE とDAE の潜在空間が非滑らか多様体であり、VAE の行列多様体は滑らかな多様体であることを示す。 また、距離保存変換を用いて行列多様体の点をヒルベルト空間に写像し、ヒルベルト空間で生成される部分空間を入力の歪みの関数として別のビューとする。 その結果、CAE および DAE の潜在多様体は、各層が滑らかな積多様体であり、VAE の多様体は2つの対称正定行列と対称正半定行列からなる滑らかな積多様体であることを示す。

関連論文リスト

• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Shape And Structure Preserving Differential Privacy [70.08490462870144]
  正方形距離関数の勾配がラプラス機構よりも感度をよりよく制御できることを示す。 また,2乗距離関数の勾配を用いることで,ラプラス機構よりも感度を制御できることを示す。
  論文  参考訳（メタデータ） (2022-09-21T18:14:38Z)
• Linearization and Identification of Multiple-Attractors Dynamical System through Laplacian Eigenmaps [8.161497377142584]
  速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。 部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。 我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-18T12:43:25Z)
• Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
  DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。 我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
  論文  参考訳（メタデータ） (2022-02-11T13:51:30Z)
• Manifold Learning Benefits GANs [59.30818650649828]
  我々は、識別器に多様体学習ステップを組み込むことにより、生成的敵ネットワークを改善する。 我々の設計では、多様体学習と符号化のステップは判別器の層に絡み合っている。 近年の最先端のベースラインに比較して,大幅な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-23T14:59:05Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)
• Variational Autoencoder with Learned Latent Structure [4.41370484305827]
  学習潜在構造を持つ変分オートエンコーダ(VAELLS)について紹介する。 VAELLS は、学習可能な多様体モデルを VAE の潜在空間に組み込む。 我々は、既知の潜在構造を持つ実例でモデルを検証し、実世界のデータセット上でその能力を実証する。
  論文  参考訳（メタデータ） (2020-06-18T14:59:06Z)
• Sample complexity and effective dimension for regression on manifolds [13.774258153124205]
  ヒルベルト空間法を再現したカーネルを用いた多様体上の回帰理論を考える。 多様体上の滑らかな函数のある空間は、多様体次元に応じて拡大する複雑性を持つ実効有限次元であることが示される。
  論文  参考訳（メタデータ） (2020-06-13T14:09:55Z)
• Disentangled Representation Learning and Generation with Manifold Optimization [10.69910379275607]
  本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。 理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
  論文  参考訳（メタデータ） (2020-06-12T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。