論文の概要: Associative Memory in Iterated Overparameterized Sigmoid Autoencoders

• arxiv url: http://arxiv.org/abs/2006.16540v2
• Date: Fri, 14 Aug 2020 02:25:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:45:28.066655
• Title: Associative Memory in Iterated Overparameterized Sigmoid Autoencoders
• Title（参考訳）: 反復型過パラメータsgmoidオートエンコーダにおける連想記憶
• Authors: Yibo Jiang, Cengiz Pehlevan
• Abstract要約: ネットワークの入力出力ヤコビアンがすべての固有値ノルムを厳格に下方にある場合、シグモイドオートエンコーダは反復写像を介して連想メモリを実装するように訓練できることを示す。 特に、複数の訓練例では、最大ジャコビアン固有値のノルムが入力ノルムの増大とともに1以下に低下し、連想記憶に繋がる。
• 参考スコア（独自算出の注目度）: 21.803219880299764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work showed that overparameterized autoencoders can be trained to implement associative memory via iterative maps, when the trained input-output Jacobian of the network has all of its eigenvalue norms strictly below one. Here, we theoretically analyze this phenomenon for sigmoid networks by leveraging recent developments in deep learning theory, especially the correspondence between training neural networks in the infinite-width limit and performing kernel regression with the Neural Tangent Kernel (NTK). We find that overparameterized sigmoid autoencoders can have attractors in the NTK limit for both training with a single example and multiple examples under certain conditions. In particular, for multiple training examples, we find that the norm of the largest Jacobian eigenvalue drops below one with increasing input norm, leading to associative memory.
• Abstract（参考訳）: 近年の研究では、ネットワークのトレーニングされた入出力ヤコビアンがその固有値ノルムを1以下に持つ場合、過パラメータオートエンコーダが反復写像を介して連想メモリを実装するように訓練できることが示されている。 本稿では,近年の深層学習理論,特に無限幅限界におけるニューラルネットワークの訓練と,神経接核(ntk)を用いたカーネル回帰の対応を利用して,sgmoidネットワークにおけるこの現象を理論的に解析する。 過パラメータ化されたシグモイドオートエンコーダは、特定の条件下での1つの例と複数例のトレーニングにおいて、NTK制限にアトラクタを持つことができる。 特に、複数のトレーニング例において、ジャコビアン固有値最大値のノルムは入力ノルムの増加とともに1より低下し、連想記憶に繋がる。

関連論文リスト

• A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
  部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。 CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。 パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
  論文  参考訳（メタデータ） (2024-02-01T09:01:58Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• Memory capacity of neural networks with threshold and ReLU activations [2.5889737226898437]
  わずかに過度にパラメータ化されたニューラルネットワークは、トレーニングデータを100%の精度で記憶することができる。 この現象が一般的な多層パーセプトロンに対して成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-01-20T01:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。