論文の概要: Why do autoencoders work?
- arxiv url: http://arxiv.org/abs/2310.02250v1
- Date: Tue, 3 Oct 2023 17:53:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 12:58:55.497238
- Title: Why do autoencoders work?
- Title（参考訳）: なぜオートエンコーダが機能するのか?
- Authors: Matthew D. Kvalheim and Eduardo D. Sontag
- Abstract要約: ディープニューラルネットワークオートエンコーダは、モデルリダクションの計算に日常的に使用される。
基本的なアイデアは、$Rn$を$Rk$にマッピングするエンコーディング層と、$Rk$を$Rn$にマッピングするデコード層の両方を取得することです。
私たちは、小さなエラーまで、実際にそのメソッドが機能することを保証していることを示す。
- 参考スコア（独自算出の注目度）: 1.6317061277457001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network autoencoders are routinely used computationally for model
reduction. They allow recognizing the intrinsic dimension of data that lie in a
$k$-dimensional subset $K$ of an input Euclidean space $\R^n$. The underlying
idea is to obtain both an encoding layer that maps $\R^n$ into $\R^k$ (called
the bottleneck layer or the space of latent variables) and a decoding layer
that maps $\R^k$ back into $\R^n$, in such a way that the input data from the
set $K$ is recovered when composing the two maps. This is achieved by adjusting
parameters (weights) in the network to minimize the discrepancy between the
input and the reconstructed output. Since neural networks (with continuous
activation functions) compute continuous maps, the existence of a network that
achieves perfect reconstruction would imply that $K$ is homeomorphic to a
$k$-dimensional subset of $\R^k$, so clearly there are topological obstructions
to finding such a network. On the other hand, in practice the technique is
found to ``work'' well, which leads one to ask if there is a way to explain
this effectiveness. We show that, up to small errors, indeed the method is
guaranteed to work. This is done by appealing to certain facts from
differential geometry. A computational example is also included to illustrate
the ideas.
- Abstract（参考訳）: ディープニューラルネットワークオートエンコーダは、モデル削減のために計算的に使用される。
それらは入力ユークリッド空間$\R^n$の$k$-次元部分集合$K$にあるデータの本質的な次元を認識することができる。
基本的な考え方は、$\R^n$ を $\R^k$ にマッピングする符号化層(ボトルネック層または潜在変数の空間と呼ばれる)と、$\R^k$ を $\R^n$ にマッピングする復号層の両方を、2つの写像を構成する際にセット $K$ から入力データが復元されるようにすることである。
これは、入力と再構成された出力との差を最小限に抑えるために、ネットワーク内のパラメータ(重み)を調整することで達成される。
ニューラルネットワーク(連続活性化関数を持つ)は連続写像を計算するため、完全再構成を達成するネットワークの存在は、$K$が$\R^k$の$k$-次元部分集合に同型であることを示唆する。
一方、実際には、このテクニックは ‘work' とよく似ており、この効果を説明する方法があるかどうかを問うことになる。
私たちは、小さなエラーまで、実際にそのメソッドが機能することを保証していることを示す。
これは微分幾何学からある事実に訴えることによって行われる。
アイデアを説明するための計算例も含んでいる。
関連論文リスト
- Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。
また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文 参考訳（メタデータ） (2024-09-10T14:31:21Z) - Mathematical Models of Computation in Superposition [0.9374652839580183]
重ね合わせは、現在のAIシステムを機械的に解釈する上で深刻な課題となる。
重ね合わせにおけるエンフン計算の数学的モデルを提案し, 重ね合わせはタスクを効率的に遂行するのに有効である。
我々は、重ね合わせで計算を実装するニューラルネットワークを解釈する研究の潜在的な応用について、結論付けている。
論文 参考訳（メタデータ） (2024-08-10T06:11:48Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - A Unified Scheme of ResNet and Softmax [8.556540804058203]
回帰問題を理論的に解析する: $| langle exp(Ax) + A x, bf 1_n rangle-1 ( exp(Ax) + Ax )
この回帰問題は、ソフトマックス回帰とResNetを組み合わせた統一的なスキームである。
論文 参考訳（メタデータ） (2023-09-23T21:41:01Z) - Geometric structure of Deep Learning networks and construction of global ${\mathcal L}^2$ minimizers [1.189367612437469]
我々は低パラメータ深層学習(DL)ネットワークにおける$mathcalL2$コスト関数の局所的および大域的最小化を明示的に決定する。
論文 参考訳（メタデータ） (2023-09-19T14:20:55Z) - Geometric structure of shallow neural networks and constructive ${\mathcal L}^2$ cost minimization [1.189367612437469]
隠れた1つの層を持つ浅層ニューラルネットワーク、ReLUアクティベーション関数、$mathcal L2$ Schattenクラス(Hilbert-Schmidt)のコスト関数を考える。
我々は、$O(delta_P)$のコスト関数の最小値に対して、$delta_P$の信号とトレーニング入力のノイズ比を測る上限を証明した。
特別の場合、$M=Q$ において、コスト関数の正確な退化局所極小を明示的に決定し、そのシャープ値が a の$Qleq M$ に対して得られる上限値と異なることを示す。
論文 参考訳（メタデータ） (2023-09-19T07:12:41Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳（メタデータ） (2022-09-15T15:42:47Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。