論文の概要: Long Expressive Memory for Sequence Modeling
- arxiv url: http://arxiv.org/abs/2110.04744v1
- Date: Sun, 10 Oct 2021 09:43:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 16:42:04.967488
- Title: Long Expressive Memory for Sequence Modeling
- Title(参考訳): シーケンスモデリングのための長時間表現型メモリ
- Authors: T. Konstantin Rusch, Siddhartha Mishra, N. Benjamin Erichson, Michael
W. Mahoney
- Abstract要約: 本稿では,Long Expressive Memory (LEM) と呼ばれる,長期連続的な依存関係を学習するための新しい手法を提案する。
LEMは勾配ベースであり、非常に長期依存したシーケンシャルなタスクを効率的に処理することができる。
我々は,LEMが大規模力学系を高精度に近似できることを証明した。
- 参考スコア(独自算出の注目度): 45.94390701863504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel method called Long Expressive Memory (LEM) for learning
long-term sequential dependencies. LEM is gradient-based, it can efficiently
process sequential tasks with very long-term dependencies, and it is
sufficiently expressive to be able to learn complicated input-output maps. To
derive LEM, we consider a system of multiscale ordinary differential equations,
as well as a suitable time-discretization of this system. For LEM, we derive
rigorous bounds to show the mitigation of the exploding and vanishing gradients
problem, a well-known challenge for gradient-based recurrent sequential
learning methods. We also prove that LEM can approximate a large class of
dynamical systems to high accuracy. Our empirical results, ranging from image
and time-series classification through dynamical systems prediction to speech
recognition and language modeling, demonstrate that LEM outperforms
state-of-the-art recurrent neural networks, gated recurrent units, and long
short-term memory models.
- Abstract(参考訳): 本稿では,Long Expressive Memory (LEM) と呼ばれる,長期連続的な依存関係を学習するための新しい手法を提案する。
LEMは勾配に基づいており、非常に長期依存したシーケンシャルなタスクを効率的に処理でき、複雑な入出力マップを学習できることは十分に表現力がある。
LEMを導出するために、多スケールの常微分方程式の系と、この系の時間差分化を考える。
LEMでは、勾配に基づく逐次学習法において、爆発的・消滅的な勾配問題の緩和を示す厳密な境界を導出する。
また,LEMが大規模力学系を高精度に近似できることを示す。
画像と時系列の分類から動的システムの予測から音声認識や言語モデリングまで,lemが最先端のリカレントニューラルネットワーク,ゲート型リカレントユニット,長期記憶モデルよりも優れていることを示す。
関連論文リスト
- LLMs learn governing principles of dynamical systems, revealing an
in-context neural scaling law [0.0]
動的システムの振る舞いを外挿する大規模言語モデルの能力について検討する。
この結果から,LLaMAはテキストをベースとした言語モデルであり,動的システム時系列の正確な予測が可能であることがわかった。
LLMから直接多桁数の確率密度関数を抽出するフレキシブルで効率的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-01T17:28:10Z) - Efficient Exploration in Continuous-time Model-based Reinforcement
Learning [37.14026153342745]
強化学習アルゴリズムは典型的には離散時間力学を考察するが、基礎となるシステムは時間的に連続していることが多い。
連続時間力学を表すモデルに基づく強化学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-30T15:04:40Z) - On Fast Simulation of Dynamical System with Neural Vector Enhanced
Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。
NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。
様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文 参考訳(メタデータ) (2022-08-07T09:02:18Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳(メタデータ) (2022-03-02T22:35:58Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳(メタデータ) (2021-10-26T17:35:21Z) - Learning Associative Inference Using Fast Weight Memory [12.239487954915646]
FWM(Fast Weight Memory)と呼ばれる連想メモリによるLSTMモデルの拡張
我々のモデルは勾配降下法によりエンドツーエンドに訓練され、合成言語推論問題において優れた性能が得られる。
論文 参考訳(メタデータ) (2020-11-16T10:01:23Z) - Short-Term Memory Optimization in Recurrent Neural Networks by
Autoencoder-based Initialization [79.42778415729475]
線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。
このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。
提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
論文 参考訳(メタデータ) (2020-11-05T14:57:16Z) - La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。
La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
論文 参考訳(メタデータ) (2020-07-27T23:07:01Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。