論文の概要: Thinner Latent Spaces: Detecting dimension and imposing invariance through autoencoder gradient constraints
- arxiv url: http://arxiv.org/abs/2408.16138v1
- Date: Wed, 28 Aug 2024 20:56:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 15:34:56.850391
- Title: Thinner Latent Spaces: Detecting dimension and imposing invariance through autoencoder gradient constraints
- Title（参考訳）: より薄いラテント空間:自己エンコーダ勾配制約による次元の検出と不変性
- Authors: George A. Kevrekidis, Mauro Maggioni, Soledad Villar, Yannis G. Kevrekidis,
- Abstract要約: ネットワークの潜在層内の直交関係を利用して、非線形多様体データセットの内在次元性を推定できることを示す。
微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
- 参考スコア（独自算出の注目度）: 9.380902608139902
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Conformal Autoencoders are a neural network architecture that imposes orthogonality conditions between the gradients of latent variables towards achieving disentangled representations of data. In this letter we show that orthogonality relations within the latent layer of the network can be leveraged to infer the intrinsic dimensionality of nonlinear manifold data sets (locally characterized by the dimension of their tangent space), while simultaneously computing encoding and decoding (embedding) maps. We outline the relevant theory relying on differential geometry, and describe the corresponding gradient-descent optimization algorithm. The method is applied to standard data sets and we highlight its applicability, advantages, and shortcomings. In addition, we demonstrate that the same computational technology can be used to build coordinate invariance to local group actions when defined only on a (reduced) submanifold of the embedding space.
- Abstract（参考訳）: コンフォーマルオートエンコーダ(Conformal Autoencoder)は、データの不整合表現を達成するために、潜伏変数の勾配間の直交条件を課すニューラルネットワークアーキテクチャである。
このレターでは、ネットワークの潜在層内の直交関係を利用して非線形多様体データセット(局所的には接空間の次元によって特徴づけられる)の固有次元を推定し、同時に符号化と復号(埋め込み)写像を計算できることが示される。
微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
本手法は標準データセットに適用され,適用性,利点,欠点を強調した。
さらに、埋め込み空間の(還元された)部分多様体上でのみ定義される場合、同じ計算技術を用いて局所群作用の座標不変性を構築できることを実証する。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Shape-informed surrogate models based on signed distance function domain encoding [8.052704959617207]
パラメータ化偏微分方程式(PDE)の解を近似する代理モデルを構築するための非侵入的手法を提案する。
我々のアプローチは2つのニューラルネットワーク(NN)の組み合わせに基づいている。
論文 参考訳（メタデータ） (2024-09-19T01:47:04Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Relative representations enable zero-shot latent space communication [19.144630518400604]
ニューラルネットワークは、高次元空間に横たわるデータ多様体の幾何学的構造を潜在表現に埋め込む。
ニューラルネットワークがこれらの相対表現をどのように活用して、実際に潜時等尺不変性を保証するかを示す。
論文 参考訳（メタデータ） (2022-09-30T12:37:03Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳（メタデータ） (2021-06-20T04:28:20Z) - Autoencoder Image Interpolation by Shaping the Latent Space [12.482988592988868]
オートエンコーダは、異なるタイプのデータセットを特徴付ける基礎となる要因を計算するための効果的なアプローチである。
トレーニング画像と整合した多様体に従うために潜在表現を形作る正規化手法を提案する。
論文 参考訳（メタデータ） (2020-08-04T12:32:54Z) - Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。
多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。
本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。
実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文 参考訳（メタデータ） (2020-07-07T10:04:28Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - LOCA: LOcal Conformal Autoencoder for standardized data coordinates [6.608924227377152]
多様体の潜在変数に等長な $mathbbRd$ の埋め込みを学ぶ方法を提案する。
我々の埋め込みは, 変形を補正する埋め込みを構成するアルゴリズムであるLOCA (Local Conformal Autoencoder) を用いて得られる。
また、単一サイトWi-FiのローカライゼーションデータにLOCAを適用し、曲面推定を3ドルで行う。
論文 参考訳（メタデータ） (2020-04-15T17:49:37Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳（メタデータ） (2020-03-07T01:56:20Z) - Learning Flat Latent Manifolds with VAEs [16.725880610265378]
本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。
我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。
提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
論文 参考訳（メタデータ） (2020-02-12T09:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。