論文の概要: On the Regularization of Autoencoders

• arxiv url: http://arxiv.org/abs/2110.11402v1
• Date: Thu, 21 Oct 2021 18:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 15:35:37.673122
• Title: On the Regularization of Autoencoders
• Title（参考訳）: オートエンコーダの正規化について
• Authors: Harald Steck and Dario Garcia Garcia
• Abstract要約: 教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
• 参考スコア（独自算出の注目度）: 14.46779433267854
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While much work has been devoted to understanding the implicit (and explicit) regularization of deep nonlinear networks in the supervised setting, this paper focuses on unsupervised learning, i.e., autoencoders are trained with the objective of reproducing the output from the input. We extend recent results [Jin et al. 2021] on unconstrained linear models and apply them to (1) nonlinear autoencoders and (2) constrained linear autoencoders, obtaining the following two results: first, we show that the unsupervised setting by itself induces strong additional regularization, i.e., a severe reduction in the model-capacity of the learned autoencoder: we derive that a deep nonlinear autoencoder cannot fit the training data more accurately than a linear autoencoder does if both models have the same dimensionality in their last hidden layer (and under a few additional assumptions). Our second contribution is concerned with the low-rank EDLAE model [Steck 2020], which is a linear autoencoder with a constraint on the diagonal of the learned low-rank parameter-matrix for improved generalization: we derive a closed-form approximation to the optimum of its non-convex training-objective, and empirically demonstrate that it is an accurate approximation across all model-ranks in our experiments on three well-known data sets.
• Abstract（参考訳）: 教師付き環境での深い非線形ネットワークの暗黙的(かつ明示的な)正規化の理解に多くの研究が費やされているが、本稿は教師なし学習に焦点を当て、オートエンコーダは入力からの出力を再現する目的で訓練されている。 We extend recent results [Jin et al. 2021] on unconstrained linear models and apply them to (1) nonlinear autoencoders and (2) constrained linear autoencoders, obtaining the following two results: first, we show that the unsupervised setting by itself induces strong additional regularization, i.e., a severe reduction in the model-capacity of the learned autoencoder: we derive that a deep nonlinear autoencoder cannot fit the training data more accurately than a linear autoencoder does if both models have the same dimensionality in their last hidden layer (and under a few additional assumptions). 第2の貢献は、学習した低ランクパラメータ行列の対角線に制約のある線形自己エンコーダである低ランクEDLAEモデル [Steck 2020] に関するものである。

関連論文リスト

• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• It's Enough: Relaxing Diagonal Constraints in Linear Autoencoders for Recommendation [4.8802420827610025]
  本稿では,線形オートエンコーダにおける2項の性質を理論的に理解することを目的とする。 本稿では,RLAE(Relaxed Linear AutoEncoder)とRDLAE(Relaxed Denoising Linear AutoEncoder)と呼ばれる,対角不等式制約を用いた単純なyet効率の線形オートエンコーダモデルを提案する。 実験の結果、我々のモデルは6つのベンチマークデータセット上で、最先端の線形モデルと非線形モデルに匹敵するか、優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-22T11:09:49Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Laplacian Autoencoders for Learning Stochastic Representations [0.6999740786886537]
  本稿では,非教師付き表現学習のためのベイズオートエンコーダを提案する。 我々のラプラシアオートエンコーダは、潜在空間と出力空間の両方において、よく校正された不確かさを推定する。
  論文  参考訳（メタデータ） (2022-06-30T07:23:16Z)
• The dynamics of representation learning in shallow, non-linear autoencoders [3.1219977244201056]
  非線形浅層オートエンコーダにおける特徴学習のダイナミクスについて検討する。 長時間のダイナミクスの分析では、シグモダルオートエンコーダが重みで学習できないことが説明されている。 本研究では,現実的なデータセット上での非線形オートエンコーダの一般化ダイナミクスを正確に記述する。
  論文  参考訳（メタデータ） (2022-01-06T15:57:31Z)
• Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks [7.412225511828064]
  勾配降下で訓練された深い線形ネットワークは、低階解を生成する。 オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
  論文  参考訳（メタデータ） (2021-07-02T23:17:50Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Learning the Linear Quadratic Regulator from Nonlinear Observations [135.66883119468707]
  我々は、LQR with Rich Observations(RichLQR)と呼ばれる連続制御のための新しい問題設定を導入する。 本設定では, 線形力学と二次的コストを有する低次元連続潜伏状態によって環境を要約する。 本結果は,システムモデルと一般関数近似における未知の非線形性を持つ連続制御のための,最初の証明可能なサンプル複雑性保証である。
  論文  参考訳（メタデータ） (2020-10-08T07:02:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。