論文の概要: Eigenvalues of Autoencoders in Training and at Initialization
- arxiv url: http://arxiv.org/abs/2201.11813v1
- Date: Thu, 27 Jan 2022 21:34:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 10:42:35.168398
- Title: Eigenvalues of Autoencoders in Training and at Initialization
- Title（参考訳）: 訓練と初期化におけるオートエンコーダの固有値
- Authors: Benjamin Dees, Susama Agarwala, Corey Lowman
- Abstract要約: 訓練過程の早い段階で, オートエンコーダのヤコビ行列の固有値分布について検討した。
訓練を受けていないオートエンコーダの固有値分布は,長年訓練されてきたものと定性的に異なることがわかった。
- 参考スコア（独自算出の注目度）: 0.2578242050187029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we investigate the evolution of autoencoders near their
initialization. In particular, we study the distribution of the eigenvalues of
the Jacobian matrices of autoencoders early in the training process, training
on the MNIST data set. We find that autoencoders that have not been trained
have eigenvalue distributions that are qualitatively different from those which
have been trained for a long time ($>$100 epochs). Additionally, we find that
even at early epochs, these eigenvalue distributions rapidly become
qualitatively similar to those of the fully trained autoencoders. We also
compare the eigenvalues at initialization to pertinent theoretical work on the
eigenvalues of random matrices and the products of such matrices.
- Abstract（参考訳）: 本稿では,初期化付近におけるオートエンコーダの進化について検討する。
特に,学習過程の初期における自動エンコーダのヤコビ行列の固有値分布とmnistデータセットのトレーニングについて検討した。
訓練を受けていないオートエンコーダは、長い時間(=100 epochs)のトレーニングを受けたオートエンコーダと質的に異なる固有値分布を持つことがわかった。
さらに、初期の時代においても、これらの固有値分布は、完全に訓練されたオートエンコーダのものと急速に類似していることがわかった。
また、初期化時の固有値と、ランダム行列の固有値とそのような行列の積に関する関連する理論的研究を比較する。
関連論文リスト
- PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。
次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
論文 参考訳（メタデータ） (2023-03-31T18:03:53Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Eigenvalue initialisation and regularisation for Koopman autoencoders [2.260916274164351]
エンコーダ,クープマン演算子層,デコーダを含むクープマンオートエンコーダモデルについて検討する。
固有値分布から初期クープマン作用素をサンプリングする固有init初期化スキームを提案する。
さらに、訓練中にクープマン作用素の固有値を解析する「固有ロス」ペナルティスキームを提案する。
論文 参考訳（メタデータ） (2022-12-23T00:05:26Z) - Variational Autoencoders for Studying the Manifold of Precoding Matrices
with High Spectral Efficiency [47.187609203210705]
スペクトル効率(SE)の高い事前符号化行列を見つけるために、変分オートエンコーダを用いる方法を検討する。
私たちの目標は、最小品質の劣化を伴う、より時間を要するアルゴリズムを作ることです。
論文 参考訳（メタデータ） (2021-11-23T11:45:45Z) - Geometry and Generalization: Eigenvalues as predictors of where a
network will fail to generalize [0.30586855806896046]
トレーニングされた重み行列のジャコビアンを用いて、トレーニングされたオートエンコーダによる入力空間の変形について検討する。
これは、新しい入力を一般化するオートエンコーダの能力をテストするためのデータセットに依存しない手段である。
論文 参考訳（メタデータ） (2021-07-13T21:03:42Z) - Implicit Greedy Rank Learning in Autoencoders via Overparameterized
Linear Networks [7.412225511828064]
勾配降下で訓練された深い線形ネットワークは、低階解を生成する。
オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
論文 参考訳（メタデータ） (2021-07-02T23:17:50Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - On Coresets for Support Vector Machines [61.928187390362176]
coresetは、元のデータポイントの小さな、代表的なサブセットである。
我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-02-15T23:25:12Z) - Learning Autoencoders with Relational Regularization [89.53065887608088]
データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。
エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする
我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
論文 参考訳（メタデータ） (2020-02-07T17:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。