論文の概要: The dynamics of representation learning in shallow, non-linear autoencoders

• arxiv url: http://arxiv.org/abs/2201.02115v1
• Date: Thu, 6 Jan 2022 15:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-07 14:37:59.631534
• Title: The dynamics of representation learning in shallow, non-linear autoencoders
• Title（参考訳）: 浅い非線形オートエンコーダにおける表現学習のダイナミクス
• Authors: Maria Refinetti and Sebastian Goldt
• Abstract要約: 非線形浅層オートエンコーダにおける特徴学習のダイナミクスについて検討する。 長時間のダイナミクスの分析では、シグモダルオートエンコーダが重みで学習できないことが説明されている。 本研究では,現実的なデータセット上での非線形オートエンコーダの一般化ダイナミクスを正確に記述する。
• 参考スコア（独自算出の注目度）: 3.1219977244201056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoencoders are the simplest neural network for unsupervised learning, and thus an ideal framework for studying feature learning. While a detailed understanding of the dynamics of linear autoencoders has recently been obtained, the study of non-linear autoencoders has been hindered by the technical difficulty of handling training data with non-trivial correlations - a fundamental prerequisite for feature extraction. Here, we study the dynamics of feature learning in non-linear, shallow autoencoders. We derive a set of asymptotically exact equations that describe the generalisation dynamics of autoencoders trained with stochastic gradient descent (SGD) in the limit of high-dimensional inputs. These equations reveal that autoencoders learn the leading principal components of their inputs sequentially. An analysis of the long-time dynamics explains the failure of sigmoidal autoencoders to learn with tied weights, and highlights the importance of training the bias in ReLU autoencoders. Building on previous results for linear networks, we analyse a modification of the vanilla SGD algorithm which allows learning of the exact principal components. Finally, we show that our equations accurately describe the generalisation dynamics of non-linear autoencoders on realistic datasets such as CIFAR10.
• Abstract（参考訳）: オートエンコーダは教師なし学習のための最も単純なニューラルネットワークであり、機能学習を研究するための理想的なフレームワークである。 近年、線形オートエンコーダのダイナミクスの詳細な理解が得られているが、非線形オートエンコーダの研究は、非自明な相関関係を持つトレーニングデータを扱う技術的困難さによって妨げられている。 本稿では,非線形浅層オートエンコーダにおける特徴学習のダイナミクスについて検討する。 確率勾配降下(SGD)で訓練されたオートエンコーダの高次元入力の極限における一般化ダイナミクスを記述する漸近的に正確な方程式の集合を導出する。 これらの方程式は、オートエンコーダが入力の主成分を逐次学習することを明らかにする。 長時間ダイナミクスの解析は、sgmoidal autoencoderが結合重みで学習できないことを説明し、relu autoencoderにおけるバイアスのトレーニングの重要性を強調している。 線形ネットワークに対する以前の結果に基づいて、我々は、正確な主成分の学習を可能にするバニラSGDアルゴリズムの修正を解析する。 最後に,CIFAR10のような現実的なデータセット上で,非線形オートエンコーダの一般化ダイナミクスを正確に記述する。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Physics-enhanced Gaussian Process Variational Autoencoder [21.222154875601984]
  変分オートエンコーダは、高次元の入出力データに基づいて低次元の潜在空間を学習することができる。 そこで本研究では,物理学的に拡張された変分オートエンコーダを提案し,物理的に拡張されたガウス過程を潜時力学に先立って配置する。 提案手法の利点は振動粒子を用いたシミュレーションで強調される。
  論文  参考訳（メタデータ） (2023-05-15T20:41:39Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks [7.412225511828064]
  勾配降下で訓練された深い線形ネットワークは、低階解を生成する。 オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
  論文  参考訳（メタデータ） (2021-07-02T23:17:50Z)
• Training Stacked Denoising Autoencoders for Representation Learning [0.0]
  高次元データの強力な表現を学習できるニューラルネットワークのクラスであるstacked autoencoderを実装した。 本稿では,自動エンコーダの教師なし学習のための勾配降下と,勾配情報を利用した新しい遺伝的アルゴリズムに基づくアプローチについて述べる。
  論文  参考訳（メタデータ） (2021-02-16T08:18:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。