論文の概要: Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization

• arxiv url: http://arxiv.org/abs/2011.02886v1
• Date: Thu, 5 Nov 2020 14:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 12:23:30.277588
• Title: Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization
• Title（参考訳）: オートエンコーダによるリカレントニューラルネットワークの短期記憶最適化
• Authors: Antonio Carta, Alessandro Sperduti, Davide Bacciu
• Abstract要約: 線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
• 参考スコア（独自算出の注目度）: 79.42778415729475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training RNNs to learn long-term dependencies is difficult due to vanishing gradients. We explore an alternative solution based on explicit memorization using linear autoencoders for sequences, which allows to maximize the short-term memory and that can be solved with a closed-form solution without backpropagation. We introduce an initialization schema that pretrains the weights of a recurrent neural network to approximate the linear autoencoder of the input sequences and we show how such pretraining can better support solving hard classification tasks with long sequences. We test our approach on sequential and permuted MNIST. We show that the proposed approach achieves a much lower reconstruction error for long sequences and a better gradient propagation during the finetuning phase.
• Abstract（参考訳）: 長期的依存関係を学習するためのRNNのトレーニングは、勾配がなくなるため難しい。 シーケンスに対する線形オートエンコーダを用いた明示的な記憶に基づく代替解を探索し, 短期記憶を最大化し, バックプロパゲーションを伴わずにクローズドな解法で解くことができる。 本稿では,ニューラルネットワークの重みを事前学習し,入力列の線形オートエンコーダを近似する初期化スキーマを導入する。 我々は、逐次的かつ置換されたMNISTに対してアプローチをテストする。 提案手法は, 長いシーケンスの再構成誤差が大幅に低減され, 微調整段階での勾配伝播が向上することを示す。

関連論文リスト

• Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings [0.0]
  本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。 ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。 RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-03-23T15:59:06Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Low-memory stochastic backpropagation with multi-channel randomized trace estimation [6.985273194899884]
  ニューラルネットワークにおける畳み込み層の勾配を多チャンネルランダム化トレース推定手法を用いて近似する。 他の手法と比較して、このアプローチは単純で分析に適しており、メモリフットプリントを大幅に削減する。 本稿では、バックプロパゲーションでトレーニングしたネットワークの性能と、メモリ使用量の最大化と計算オーバーヘッドの最小化を図りながら、エラーを制御する方法について論じる。
  論文  参考訳（メタデータ） (2021-06-13T13:54:02Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Recurrent Neural Networks for Stochastic Control Problems with Delay [0.76146285961466]
  遅延機能を有する制御問題を解くために,ディープニューラルネットワークに基づくアルゴリズムを提案し,体系的に検討する。 具体的には,ポリシをパラメータ化し,目的関数を最適化するために,シーケンスモデリングにニューラルネットワークを用いる。 提案アルゴリズムは, 線形二乗問題, 有限遅延の最適消費, 完全メモリのポートフォリオ最適化の3つのベンチマーク例で検証した。
  論文  参考訳（メタデータ） (2021-01-05T07:18:47Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training [12.755664985045582]
  本稿では,深層ニューラルネットワークの分解を調整可能なサブネットワーク分割法(TSSM)を提案する。 提案するTSSMは,トレーニング精度を損なうことなく,大幅な高速化を実現することができる。
  論文  参考訳（メタデータ） (2020-09-09T01:05:12Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。