論文の概要: RotRNN: Modelling Long Sequences with Rotations

• arxiv url: http://arxiv.org/abs/2407.07239v1
• Date: Tue, 9 Jul 2024 21:37:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 18:31:06.398918
• Title: RotRNN: Modelling Long Sequences with Rotations
• Title（参考訳）: RotRNN: 長いシーケンスをローテーションでモデル化する
• Authors: Rares Dolga, Kai Biegun, Jake Cunningham, David Barber,
• Abstract要約: 回転行列の便利な特性を利用する線形リカレントモデルであるRotRNNを提案する。 我々は,RotRNNが従来よりも理論的な仮定が少なく,理論的な導出に忠実な実践的実装でシンプルなモデルを提供することを示した。
• 参考スコア（独自算出の注目度）: 7.037239398244858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear recurrent models, such as State Space Models (SSMs) and Linear Recurrent Units (LRUs), have recently shown state-of-the-art performance on long sequence modelling benchmarks. Despite their success, they come with a number of drawbacks, most notably their complex initialisation and normalisation schemes. In this work, we address some of these issues by proposing RotRNN -- a linear recurrent model which utilises the convenient properties of rotation matrices. We show that RotRNN provides a simple model with fewer theoretical assumptions than prior works, with a practical implementation that remains faithful to its theoretical derivation, achieving comparable scores to the LRU and SSMs on several long sequence modelling datasets.
• Abstract（参考訳）: ステートスペースモデル(SSM)やリニアリカレントユニット(LRU)のような線形リカレントモデルは、最近、ロングシーケンスモデリングベンチマークで最先端のパフォーマンスを示している。 彼らの成功にもかかわらず、多くの欠点、特にその複雑な初期化と正規化スキームが伴っている。 本研究では、回転行列の便利な性質を利用する線形リカレントモデルであるRotRNNを提案することにより、これらの問題に対処する。 我々は,RotRNNが従来よりも理論的な仮定が少なく,理論的な導出に忠実で,LRUとSSMに匹敵するスコアを複数の長いシーケンスモデリングデータセットで達成できるような,シンプルなモデルを提供することを示した。

関連論文リスト

• Were RNNs All We Needed? [53.393497486332]
  従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。 入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T03:06:49Z)
• Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
  階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。 言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2023-11-08T16:50:05Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Resurrecting Recurrent Neural Networks for Long Sequences [45.800920421868625]
  リカレントニューラルネットワーク(RNN)は、長いシーケンスに対する高速な推論を提供するが、最適化が難しく、訓練が遅い。 深部状態空間モデル(SSM)は、最近、長いシーケンスモデリングタスクにおいて非常によく機能することが示されている。 本稿では,信号伝搬の標準的な引数を用いた深部RNNの設計により,長距離推論タスクにおける深部SSMの性能を回復できることを示す。
  論文  参考訳（メタデータ） (2023-03-11T08:53:11Z)
• Improved Batching Strategy For Irregular Time-Series ODE [0.0]
  本稿では, ODE-RNN 上でのランタイムの改善を, 異なる効率的な戦略を用いて提案する。 実験の結果,データの不規則性に応じてODE-RNNのランタイムを2倍から49倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-12T17:30:02Z)
• A Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models [2.007262412327553]
  本稿では,2つの著名なディープラーニングモデリング手法を比較した。 Recurrent Neural Network (RNN)-based Long Short-Term Memory (LSTM) と Convolutional Neural Network (CNN)-based Temporal Convolutional Networks (TCN) を比較した。
  論文  参考訳（メタデータ） (2021-12-17T02:46:55Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
  我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。 提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。 提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T10:13:36Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。