論文の概要: On the Memory Mechanism of Tensor-Power Recurrent Models
- arxiv url: http://arxiv.org/abs/2103.01521v1
- Date: Tue, 2 Mar 2021 07:07:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 15:41:24.624876
- Title: On the Memory Mechanism of Tensor-Power Recurrent Models
- Title(参考訳): テンソルパワーリカレントモデルの記憶機構について
- Authors: Hejia Qiu, Chao Li, Ying Weng, Zhun Sun, Xingyu He, Qibin Zhao
- Abstract要約: TPリカレントモデルの記憶機構について検討する。
長期記憶効果を達成するためには, p が重要条件であることが示される。
新しいモデルは、安定して長いメモリ効果の恩恵を受けることが期待されている。
- 参考スコア(独自算出の注目度): 25.83531612758211
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tensor-power (TP) recurrent model is a family of non-linear dynamical
systems, of which the recurrence relation consists of a p-fold (a.k.a.,
degree-p) tensor product. Despite such the model frequently appears in the
advanced recurrent neural networks (RNNs), to this date there is limited study
on its memory property, a critical characteristic in sequence tasks. In this
work, we conduct a thorough investigation of the memory mechanism of TP
recurrent models. Theoretically, we prove that a large degree p is an essential
condition to achieve the long memory effect, yet it would lead to unstable
dynamical behaviors. Empirically, we tackle this issue by extending the degree
p from discrete to a differentiable domain, such that it is efficiently
learnable from a variety of datasets. Taken together, the new model is expected
to benefit from the long memory effect in a stable manner. We experimentally
show that the proposed model achieves competitive performance compared to
various advanced RNNs in both the single-cell and seq2seq architectures.
- Abstract(参考訳): テンソルパワー(TP)リカレントモデル(英: Tensor-power Recurrent model)は、リカレント関係がp倍(すなわち次数-p)テンソル積からなる非線形力学系の族である。
このようなモデルがadvanced recurrent neural networks (rnns) によく現れるにもかかわらず、この時点では、シーケンスタスクにおいて重要な特性であるメモリ特性の研究は限られている。
本研究では,tpリカレントモデルの記憶機構を徹底的に検討する。
理論的には、大きなpが長いメモリ効果を達成するための必須条件であることは証明するが、不安定な動的挙動を引き起こす。
実験的には、p級を離散から微分可能な領域に拡張し、さまざまなデータセットから効率的に学習できるようにすることでこの問題に取り組みます。
合わせて、新しいモデルは安定した方法で長い記憶効果の恩恵を受けることが期待されます。
提案モデルが単一セルアーキテクチャとseq2seqアーキテクチャの両方の様々な高度なRNNと比較して競争性能を達成することを実験的に示した。
関連論文リスト
- Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳(メタデータ) (2023-04-08T07:55:36Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - Residual Tensor Train: a Flexible and Efficient Approach for Learning
Multiple Multilinear Correlations [4.754987078078158]
本稿では, TTと残留構造を融合したResidual Train(Residual Train)を提案する。
特に,ニューラルネットワークとVolterra系列の完全連結層がResTTの特別な場合として利用できることを示す。
このような規則はTTよりもずっと緩やかであることが証明され、つまりResTTは消滅し爆発する勾配問題に容易に対処できる。
論文 参考訳(メタデータ) (2021-08-19T12:47:16Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Stochastic Recurrent Neural Network for Multistep Time Series
Forecasting [0.0]
我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。
私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
論文 参考訳(メタデータ) (2021-04-26T01:43:43Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Neural Closure Models for Dynamical Systems [35.000303827255024]
低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。
ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する
非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
論文 参考訳(メタデータ) (2020-12-27T05:55:33Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Learning Various Length Dependence by Dual Recurrent Neural Networks [0.0]
デュアルリカレントニューラルネットワーク(DuRNN)という新しいモデルを提案する。
DuRNNは短期依存を学習し、長期依存を徐々に学習する2つの部分から構成される。
コントリビューションは,1)長期的・短期的依存を個別に学習するための分割・並行的戦略に基づく新たな再帰モデル,2)異なる時間的依存尺度の分離・学習を促進するための選択メカニズムである。
論文 参考訳(メタデータ) (2020-05-28T09:30:01Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。