論文の概要: Deep Nonparametric Estimation of Intrinsic Data Structures by Chart
Autoencoders: Generalization Error and Robustness
- arxiv url: http://arxiv.org/abs/2303.09863v1
- Date: Fri, 17 Mar 2023 10:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 15:03:09.753811
- Title: Deep Nonparametric Estimation of Intrinsic Data Structures by Chart
Autoencoders: Generalization Error and Robustness
- Title（参考訳）: チャートオートエンコーダによる固有データ構造の深部非パラメトリック推定:一般化誤差とロバスト性
- Authors: Hao Liu, Alex Havrilla, Rongjie Lai and Wenjing Liao
- Abstract要約: グラフの集合上の低次元の潜在特徴にデータをエンコードするために、チャートオートエンコーダを用いる。
オートエンコーダを訓練することにより、チャートオートエンコーダは入力データを正常な雑音で効果的に識別できることを示す。
特別な場合として、データ多様体が大域的パラメトリゼーションを持つ限り、我々の理論は古典的自己エンコーダにも当てはまる。
- 参考スコア（独自算出の注目度）: 14.905763161066519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoencoders have demonstrated remarkable success in learning low-dimensional
latent features of high-dimensional data across various applications. Assuming
that data are sampled near a low-dimensional manifold, we employ chart
autoencoders, which encode data into low-dimensional latent features on a
collection of charts, preserving the topology and geometry of the data
manifold. Our paper establishes statistical guarantees on the generalization
error of chart autoencoders, and we demonstrate their denoising capabilities by
considering $n$ noisy training samples, along with their noise-free
counterparts, on a $d$-dimensional manifold. By training autoencoders, we show
that chart autoencoders can effectively denoise the input data with normal
noise. We prove that, under proper network architectures, chart autoencoders
achieve a squared generalization error in the order of $\displaystyle
n^{-\frac{2}{d+2}}\log^4 n$, which depends on the intrinsic dimension of the
manifold and only weakly depends on the ambient dimension and noise level. We
further extend our theory on data with noise containing both normal and
tangential components, where chart autoencoders still exhibit a denoising
effect for the normal component. As a special case, our theory also applies to
classical autoencoders, as long as the data manifold has a global
parametrization. Our results provide a solid theoretical foundation for the
effectiveness of autoencoders, which is further validated through several
numerical experiments.
- Abstract（参考訳）: オートエンコーダは、様々なアプリケーションにまたがる高次元データの低次元潜在特徴を学習することに成功した。
低次元多様体の近傍でデータをサンプリングすると、グラフの集合上の低次元潜在特徴にデータをエンコードし、データ多様体の位相と幾何を保存するチャートオートエンコーダを用いる。
本稿では, グラフオートエンコーダの一般化誤差に関する統計的保証を確立し, ノイズフリーな学習サンプルとともに, $d$次元多様体上で, ノイズフリーな学習サンプルを考慮し, それらの記述能力を実証する。
オートエンコーダを訓練することにより、チャートオートエンコーダは入力データを正常な雑音で効果的に識別できることを示す。
適切なネットワークアーキテクチャの下では、チャートオートエンコーダは、多様体の固有次元に依存し、周囲の次元とノイズレベルに弱くのみ依存する$\displaystyle n^{-\frac{2}{d+2}}\log^4n}\の順に二乗一般化誤差を達成する。
我々はさらに、正規成分と有形成分の両方を含むノイズを伴うデータに関する理論を拡張し、チャートオートエンコーダは通常の成分に対してデノイング効果を示す。
特別な場合として、データ多様体が大域的パラメトリゼーションを持つ限り、我々の理論は古典的自己エンコーダにも当てはまる。
本研究は, オートエンコーダの有効性に関する理論的基礎を提供し, 数値実験によりさらに検証した。
関連論文リスト
- Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - ADA-GAD: Anomaly-Denoised Autoencoders for Graph Anomaly Detection [84.0718034981805]
我々はAnomaly-Denoized Autoencoders for Graph Anomaly Detection (ADA-GAD)という新しいフレームワークを導入する。
第1段階では,異常レベルを低減したグラフを生成する学習自由な異常化拡張法を設計する。
次の段階では、デコーダは元のグラフで検出するために再訓練される。
論文 参考訳（メタデータ） (2023-12-22T09:02:01Z) - Are We Using Autoencoders in a Wrong Way? [3.110260251019273]
オートエンコーダは次元減少、異常検出、特徴抽出に使用される。
潜在空間の形状を変更する不完全なオートエンコーダの標準トレーニングを再考した。
また,データセット全体からランダムサンプルを再構成する場合の潜伏空間の挙動についても検討した。
論文 参考訳（メタデータ） (2023-09-04T11:22:43Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Dimension Reduction for time series with Variational AutoEncoders [2.905751301655124]
本研究では,ウェーブレット分解と畳み込み変分オートエンコーダの比較を行った。
変動型オートエンコーダはECGのような高次元データの次元を小さくする良い選択肢であることを示す。
論文 参考訳（メタデータ） (2022-04-23T12:26:01Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-01-30T20:12:04Z) - Neural Distributed Source Coding [59.630059301226474]
相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。
提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
論文 参考訳（メタデータ） (2021-06-05T04:50:43Z) - An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。
従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
論文 参考訳（メタデータ） (2021-03-27T04:47:59Z) - Isometric Autoencoders [36.947436313489746]
我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。
我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
論文 参考訳（メタデータ） (2020-06-16T16:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。