論文の概要: Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks

• arxiv url: http://arxiv.org/abs/2107.01301v1
• Date: Fri, 2 Jul 2021 23:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 14:55:56.609891
• Title: Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks
• Title（参考訳）: 過パラメータ線形ネットワークによるオートエンコーダにおける暗黙の欲欲ランク学習
• Authors: Shih-Yu Sun, Vimal Thilak, Etai Littwin, Omid Saremi, Joshua M. Susskind
• Abstract要約: 勾配降下で訓練された深い線形ネットワークは、低階解を生成する。 オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
• 参考スコア（独自算出の注目度）: 7.412225511828064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep linear networks trained with gradient descent yield low rank solutions, as is typically studied in matrix factorization. In this paper, we take a step further and analyze implicit rank regularization in autoencoders. We show greedy learning of low-rank latent codes induced by a linear sub-network at the autoencoder bottleneck. We further propose orthogonal initialization and principled learning rate adjustment to mitigate sensitivity of training dynamics to spectral prior and linear depth. With linear autoencoders on synthetic data, our method converges stably to ground-truth latent code rank. With nonlinear autoencoders, our method converges to latent ranks optimal for downstream classification and image sampling.
• Abstract（参考訳）: 勾配降下で訓練された深い線形ネットワークは、行列因子分解でよく研究されるように、低いランクの解を与える。 本稿では,さらに一歩進めて,オートエンコーダにおける暗黙のランク正規化を解析する。 オートエンコーダボトルネックにおける線形サブネットワークによって誘導される低ランク潜伏符号の欲望学習を示す。 さらに,スペクトル先行および線形深度に対するトレーニング力学の感度を緩和するために,直交初期化と学習率調整法を提案する。 合成データ上の線形オートエンコーダでは,本手法は定常的に基底潜在コードランクに収束する。 非線形オートエンコーダでは,下流分類と画像サンプリングに最適な潜在ランクに収束する。

関連論文リスト

• Using linear initialisation to improve speed of convergence and fully-trained error in Autoencoders [0.0]
  そこで我々はStraddled Matrix Initialiserと呼ばれる新しいウェイト初期化手法を導入する。 階層行列とReLU活性化関数の組み合わせは、ニューラルネットワークをデファクト線形モデルとして初期化する。 全ての実験において、Straddeled Matrix Initialiserは、他のすべての方法よりも明らかに優れています。
  論文  参考訳（メタデータ） (2023-11-17T18:43:32Z)
• Iterative Sketching for Secure Coded Regression [66.53950020718021]
  分散線形回帰を高速化する手法を提案する。 具体的には、方程式の系の基礎をランダムに回転させ、次にサブサンプルブロックを回転させ、情報を同時に確保し、回帰問題の次元を小さくする。
  論文  参考訳（メタデータ） (2023-08-08T11:10:42Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• The dynamics of representation learning in shallow, non-linear autoencoders [3.1219977244201056]
  非線形浅層オートエンコーダにおける特徴学習のダイナミクスについて検討する。 長時間のダイナミクスの分析では、シグモダルオートエンコーダが重みで学習できないことが説明されている。 本研究では,現実的なデータセット上での非線形オートエンコーダの一般化ダイナミクスを正確に記述する。
  論文  参考訳（メタデータ） (2022-01-06T15:57:31Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• Training Stacked Denoising Autoencoders for Representation Learning [0.0]
  高次元データの強力な表現を学習できるニューラルネットワークのクラスであるstacked autoencoderを実装した。 本稿では,自動エンコーダの教師なし学習のための勾配降下と,勾配情報を利用した新しい遺伝的アルゴリズムに基づくアプローチについて述べる。
  論文  参考訳（メタデータ） (2021-02-16T08:18:22Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。