論文の概要: Convergent autoencoder approximation of low bending and low distortion manifold embeddings

• arxiv url: http://arxiv.org/abs/2208.10193v2
• Date: Wed, 10 Jan 2024 12:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 18:03:12.857536
• Title: Convergent autoencoder approximation of low bending and low distortion manifold embeddings
• Title（参考訳）: 低曲げおよび低歪多様体埋め込みの収束オートエンコーダ近似
• Authors: Juliane Braunsmann, Marko Rajkovi\'c, Martin Rumpf, Benedikt Wirth
• Abstract要約: オートエンコーダのエンコーダコンポーネントを学習するための新しい正規化を提案し,解析する。 損失関数は、入力多様体上の点対に対する異なるサンプリング戦略とモンテカルロ積分を通じて計算される。 我々の主定理は、埋め込み写像の損失汎函数をサンプリング依存損失汎函数の$Gamma$-極限として定義する。
• 参考スコア（独自算出の注目度）: 5.5711773076846365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoencoders, which consist of an encoder and a decoder, are widely used in machine learning for dimension reduction of high-dimensional data. The encoder embeds the input data manifold into a lower-dimensional latent space, while the decoder represents the inverse map, providing a parametrization of the data manifold by the manifold in latent space. A good regularity and structure of the embedded manifold may substantially simplify further data processing tasks such as cluster analysis or data interpolation. We propose and analyze a novel regularization for learning the encoder component of an autoencoder: a loss functional that prefers isometric, extrinsically flat embeddings and allows to train the encoder on its own. To perform the training it is assumed that for pairs of nearby points on the input manifold their local Riemannian distance and their local Riemannian average can be evaluated. The loss functional is computed via Monte Carlo integration with different sampling strategies for pairs of points on the input manifold. Our main theorem identifies a geometric loss functional of the embedding map as the $\Gamma$-limit of the sampling-dependent loss functionals. Numerical tests, using image data that encodes different explicitly given data manifolds, show that smooth manifold embeddings into latent space are obtained. Due to the promotion of extrinsic flatness, these embeddings are regular enough such that interpolation between not too distant points on the manifold is well approximated by linear interpolation in latent space as one possible postprocessing.
• Abstract（参考訳）: エンコーダとデコーダで構成されるオートエンコーダは、高次元データの次元削減に機械学習で広く利用されている。 エンコーダは入力データ多様体を低次元の潜在空間に埋め込み、デコーダは逆写像を表し、潜在空間における多様体によるデータ多様体のパラメトリゼーションを提供する。 組み込み多様体の適切な規則性と構造は、クラスタ分析やデータ補間のようなさらなるデータ処理タスクを実質的に単純化するかもしれない。 本稿では,オートエンコーダのエンコーダ成分を学習するための新しい正規化を提案し,解析する。 トレーニングを行うには、入力多様体上の近傍点のペアに対して、局所リーマン距離とその局所リーマン平均を評価することができると仮定する。 損失汎関数は、入力多様体上の点対に対する異なるサンプリング戦略を伴うモンテカルロ積分によって計算される。 我々の主定理は埋め込み写像の幾何損失汎函数をサンプリング依存損失汎函数の$\gamma$-limit として定義する。 与えられた異なるデータ多様体をエンコードする画像データを用いた数値実験では、滑らかな多様体を潜在空間に埋め込むことが示されている。 外部平坦性の促進により、これらの埋め込みは、多様体上のあまり遠くない点の間の補間が、潜在空間における線型補間によって十分近似されるような正則である。

関連論文リスト

• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
  グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。 我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。 グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
  論文  参考訳（メタデータ） (2023-11-29T12:48:33Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Convolutional Filtering on Sampled Manifolds [122.06927400759021]
  サンプル多様体上の畳み込みフィルタリングは連続多様体フィルタリングに収束することを示す。 本研究は,ナビゲーション制御の問題点を実証的に明らかにした。
  論文  参考訳（メタデータ） (2022-11-20T19:09:50Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Learning low bending and low distortion manifold embeddings [1.8046244926068666]
  エンコーダは、入力データマニホールドから潜在空間への埋め込みを提供し、その後、さらなる処理に使用することができる。 この記事では、潜在空間への埋め込みは、等尺性および平坦な埋め込みを促進する損失関数を介して正規化される。 損失汎関数はモンテカルロ積分によって計算され、埋め込み写像上で直接定義される幾何学的損失汎関数と一致することが示されている。
  論文  参考訳（メタデータ） (2021-04-27T13:51:12Z)
• Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations [0.7614628596146599]
  本稿では,Encoded Prior Sliced Wasserstein AutoEncoderを紹介する。 追加のプリエンコーダネットワークは、データ多様体の埋め込みを学習する。 従来のオートエンコーダとは違って,前者はデータの基盤となる幾何を符号化する。
  論文  参考訳（メタデータ） (2020-10-02T14:58:54Z)
• Autoencoder Image Interpolation by Shaping the Latent Space [12.482988592988868]
  オートエンコーダは、異なるタイプのデータセットを特徴付ける基礎となる要因を計算するための効果的なアプローチである。 トレーニング画像と整合した多様体に従うために潜在表現を形作る正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-04T12:32:54Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。