論文の概要: Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders
- arxiv url: http://arxiv.org/abs/2208.10570v2
- Date: Fri, 04 Oct 2024 16:34:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:06:13.026888
- Title: Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders
- Title(参考訳): 複雑分離チャートオートエンコーダを用いた半教師付きマニフォールド学習
- Authors: Stefan C. Schonsheck, Scott Mahan, Timo Klock, Alexander Cloninger, Rongjie Lai,
- Abstract要約: 本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。
このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
- 参考スコア(独自算出の注目度): 45.29194877564103
- License:
- Abstract: Autoencoding is a popular method in representation learning. Conventional autoencoders employ symmetric encoding-decoding procedures and a simple Euclidean latent space to detect hidden low-dimensional structures in an unsupervised way. Some modern approaches to novel data generation such as generative adversarial networks askew this symmetry, but still employ a pair of massive networks--one to generate the image and another to judge the images quality based on priors learned from a training set. This work introduces a chart autoencoder with an asymmetric encoding-decoding process that can incorporate additional semi-supervised information such as class labels. Besides enhancing the capability for handling data with complicated topological and geometric structures, the proposed model can successfully differentiate nearby but disjoint manifolds and intersecting manifolds with only a small amount of supervision. Moreover, this model only requires a low-complexity encoding operation, such as a locally defined linear projection. We discuss the approximation power of such networks and derive a bound that essentially depends on the intrinsic dimension of the data manifold rather than the dimension of ambient space. Next we incorporate bounds for the sampling rate of training data need to faithfully represent a given data manifold. We present numerical experiments that verify that the proposed model can effectively manage data with multi-class nearby but disjoint manifolds of different classes, overlapping manifolds, and manifolds with non-trivial topology. Finally, we conclude with some experiments on computer vision and molecular dynamics problems which showcase the efficacy of our methods on real-world data.
- Abstract(参考訳): オートエンコーディングは表現学習において一般的な方法である。
従来のオートエンコーダでは、対称符号化復号法と単純なユークリッド潜在空間を用いて、隠された低次元構造を教師なしの方法で検出する。
生成的敵ネットワークのような新しいデータ生成に対する現代のアプローチでは、この対称性を問うが、画像を生成するために1つと、トレーニングセットから学んだ事前情報に基づいて画像品質を判断するために2つの巨大なネットワークを用いる。
本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。
複雑なトポロジカル・幾何学的構造を持つデータを扱う能力の向上に加えて, 提案モデルでは, 近傍の非交叉多様体や交叉多様体を, 少量の監督だけで識別することができる。
さらに、このモデルは局所的に定義された線形射影のような低複雑さの符号化操作のみを必要とする。
このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
次に、与えられたデータ多様体を忠実に表現する必要があるトレーニングデータのサンプリングレートのバウンダリを組み込む。
提案したモデルが,異なるクラス,重なり合う多様体,非自明なトポロジーを持つ多様体の多クラスで効率的にデータを管理できることを検証する数値実験を行った。
最後に,本手法が実世界のデータに与える影響を示すコンピュータビジョンと分子動力学の諸問題について実験を行った。
関連論文リスト
- On-Manifold Projected Gradient Descent [0.0]
この研究は、高次元データに対するクラス多様体の微分幾何学に対する計算可能で直接的で数学的に厳密な近似を提供する。
ツールはニューラルネットワーク画像分類器の設定に適用され、新しいオンマンフォールドデータサンプルを生成する。
論文 参考訳(メタデータ) (2023-08-23T17:50:50Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Convergent autoencoder approximation of low bending and low distortion
manifold embeddings [5.5711773076846365]
オートエンコーダのエンコーダコンポーネントを学習するための新しい正規化を提案し,解析する。
損失関数は、入力多様体上の点対に対する異なるサンプリング戦略とモンテカルロ積分を通じて計算される。
我々の主定理は、埋め込み写像の損失汎函数をサンプリング依存損失汎函数の$Gamma$-極限として定義する。
論文 参考訳(メタデータ) (2022-08-22T10:31:31Z) - NOMAD: Nonlinear Manifold Decoders for Operator Learning [17.812064311297117]
関数空間における教師付き学習は、機械学習研究の新たな領域である。
関数空間における非線形部分多様体の有限次元表現を学習できる非線形デコーダマップを備えた新しい演算子学習フレームワークであるNOMADについて述べる。
論文 参考訳(メタデータ) (2022-06-07T19:52:44Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:59:41Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳(メタデータ) (2020-10-10T14:04:44Z) - Extendable and invertible manifold learning with geometry regularized
autoencoders [9.742277703732187]
データ探索における基本的な課題は、データ内の固有幾何学をキャプチャする単純化された低次元表現を抽出することである。
このタスクに対する一般的なアプローチは、多様体学習にカーネルメソッドを使用する。
オートエンコーダのボトルネックに幾何正規化項を組み込むことにより,両手法を統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T15:59:10Z) - Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。
多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。
本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。
実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文 参考訳(メタデータ) (2020-07-07T10:04:28Z) - A Tailored Convolutional Neural Network for Nonlinear Manifold Learning
of Computational Physics Data using Unstructured Spatial Discretizations [0.0]
深部畳み込みオートエンコーダに基づく非線形多様体学習手法を提案する。
この手法は複素幾何学における物理系のモデル次数削減に適している。
論文 参考訳(メタデータ) (2020-06-11T02:19:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。