論文の概要: On the Memory Mechanism of Tensor-Power Recurrent Models

• arxiv url: http://arxiv.org/abs/2103.01521v1
• Date: Tue, 2 Mar 2021 07:07:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 15:41:24.624876
• Title: On the Memory Mechanism of Tensor-Power Recurrent Models
• Title（参考訳）: テンソルパワーリカレントモデルの記憶機構について
• Authors: Hejia Qiu, Chao Li, Ying Weng, Zhun Sun, Xingyu He, Qibin Zhao
• Abstract要約: TPリカレントモデルの記憶機構について検討する。 長期記憶効果を達成するためには, p が重要条件であることが示される。 新しいモデルは、安定して長いメモリ効果の恩恵を受けることが期待されている。
• 参考スコア（独自算出の注目度）: 25.83531612758211
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Tensor-power (TP) recurrent model is a family of non-linear dynamical systems, of which the recurrence relation consists of a p-fold (a.k.a., degree-p) tensor product. Despite such the model frequently appears in the advanced recurrent neural networks (RNNs), to this date there is limited study on its memory property, a critical characteristic in sequence tasks. In this work, we conduct a thorough investigation of the memory mechanism of TP recurrent models. Theoretically, we prove that a large degree p is an essential condition to achieve the long memory effect, yet it would lead to unstable dynamical behaviors. Empirically, we tackle this issue by extending the degree p from discrete to a differentiable domain, such that it is efficiently learnable from a variety of datasets. Taken together, the new model is expected to benefit from the long memory effect in a stable manner. We experimentally show that the proposed model achieves competitive performance compared to various advanced RNNs in both the single-cell and seq2seq architectures.
• Abstract（参考訳）: テンソルパワー(TP)リカレントモデル(英: Tensor-power Recurrent model)は、リカレント関係がp倍(すなわち次数-p)テンソル積からなる非線形力学系の族である。 このようなモデルがadvanced recurrent neural networks (rnns) によく現れるにもかかわらず、この時点では、シーケンスタスクにおいて重要な特性であるメモリ特性の研究は限られている。 本研究では,tpリカレントモデルの記憶機構を徹底的に検討する。 理論的には、大きなpが長いメモリ効果を達成するための必須条件であることは証明するが、不安定な動的挙動を引き起こす。 実験的には、p級を離散から微分可能な領域に拡張し、さまざまなデータセットから効率的に学習できるようにすることでこの問題に取り組みます。 合わせて、新しいモデルは安定した方法で長い記憶効果の恩恵を受けることが期待されます。 提案モデルが単一セルアーキテクチャとseq2seqアーキテクチャの両方の様々な高度なRNNと比較して競争性能を達成することを実験的に示した。

関連論文リスト

• Dense ReLU Neural Networks for Temporal-spatial Model [13.8173644075917]
  非パラメトリック推定にRectified Linear Unit (ReLU) アクティベーション機能を利用する完全接続深層ニューラルネットワークに着目する。 我々は、観測された測定における時間的および空間的依存に対処するため、収束率につながる非漸近境界を導出する。 我々はまた、多様体上のデータをモデル化し、高次元データの本質的な次元性を探求することで、次元性の呪いに取り組む。
  論文  参考訳（メタデータ） (2024-11-15T05:30:36Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Neural Persistence Dynamics [8.197801260302642]
  時間発展する点雲のトポロジにおける力学を学習する問題を考察する。 提案したモデル - $textitNeural Persistence Dynamics$ - は、パラメータ回帰タスクの多種多様なセットで最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2024-05-24T17:20:18Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Residual Tensor Train: a Flexible and Efficient Approach for Learning Multiple Multilinear Correlations [4.754987078078158]
  本稿では, TTと残留構造を融合したResidual Train(Residual Train)を提案する。 特に,ニューラルネットワークとVolterra系列の完全連結層がResTTの特別な場合として利用できることを示す。 このような規則はTTよりもずっと緩やかであることが証明され、つまりResTTは消滅し爆発する勾配問題に容易に対処できる。
  論文  参考訳（メタデータ） (2021-08-19T12:47:16Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。