論文の概要: RotRNN: Modelling Long Sequences with Rotations
- arxiv url: http://arxiv.org/abs/2407.07239v2
- Date: Sun, 06 Oct 2024 08:44:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 18:00:06.856337
- Title: RotRNN: Modelling Long Sequences with Rotations
- Title(参考訳): RotRNN: 長いシーケンスをローテーションでモデル化する
- Authors: Kai Biegun, Rares Dolga, Jake Cunningham, David Barber,
- Abstract要約: ステートスペースモデル(SSM)やリニアリカレントユニット(LRU)のような線形リカレントニューラルネットワークは、最近、ロングシーケンスモデリングベンチマークで最先端のパフォーマンスを示している。
回転行列の便利な特性を利用する線形リカレントモデルであるRotRNNを提案する。
本稿では,RotRNNが頑健な正規化手順を備えたシンプルで効率的なモデルを提供し,その理論的導出に忠実な実践的実装であることを示す。
- 参考スコア(独自算出の注目度): 7.037239398244858
- License:
- Abstract: Linear recurrent neural networks, such as State Space Models (SSMs) and Linear Recurrent Units (LRUs), have recently shown state-of-the-art performance on long sequence modelling benchmarks. Despite their success, their empirical performance is not well understood and they come with a number of drawbacks, most notably their complex initialisation and normalisation schemes. In this work, we address some of these issues by proposing RotRNN -- a linear recurrent model which utilises the convenient properties of rotation matrices. We show that RotRNN provides a simple and efficient model with a robust normalisation procedure, and a practical implementation that remains faithful to its theoretical derivation. RotRNN also achieves competitive performance to state-of-the-art linear recurrent models on several long sequence modelling datasets.
- Abstract(参考訳): ステートスペースモデル(SSM)やリニアリカレントユニット(LRU)のような線形リカレントニューラルネットワークは、最近、ロングシーケンスモデリングベンチマークで最先端のパフォーマンスを示している。
彼らの成功にもかかわらず、彼らの経験的業績はよく理解されておらず、特に複雑な初期化と正規化のスキームなど、多くの欠点が伴っている。
本研究では、回転行列の便利な性質を利用する線形リカレントモデルであるRotRNNを提案することにより、これらの問題に対処する。
本稿では,RotRNNが頑健な正規化手順を備えたシンプルで効率的なモデルを提供し,その理論的導出に忠実な実践的実装であることを示す。
RotRNNは、いくつかのロングシーケンスモデリングデータセット上で、最先端の線形リカレントモデルに対する競合性能も達成している。
関連論文リスト
- Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
本稿では,オンライン回帰目標を最適化するための暗黙の更新に基づく新しい深層SSMアーキテクチャを提案する。
実験の結果,我々のモデルは,標準シーケンスモデリングベンチマークや言語モデリングタスクにおいて,最先端のSSMよりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-07-19T11:12:08Z) - Universal In-Context Approximation By Prompting Fully Recurrent Models [86.61942787684272]
RNN,LSTM,GRU,Linear RNN,Linear RNN,Line gated Architecturesは,汎用のインコンテキスト近似器として機能することを示す。
完全反復アーキテクチャにコンパイルするLSRLというプログラミング言語を導入する。
論文 参考訳(メタデータ) (2024-06-03T15:25:13Z) - Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。
言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
論文 参考訳(メタデータ) (2023-11-08T16:50:05Z) - Resurrecting Recurrent Neural Networks for Long Sequences [45.800920421868625]
リカレントニューラルネットワーク(RNN)は、長いシーケンスに対する高速な推論を提供するが、最適化が難しく、訓練が遅い。
深部状態空間モデル(SSM)は、最近、長いシーケンスモデリングタスクにおいて非常によく機能することが示されている。
本稿では,信号伝搬の標準的な引数を用いた深部RNNの設計により,長距離推論タスクにおける深部SSMの性能を回復できることを示す。
論文 参考訳(メタデータ) (2023-03-11T08:53:11Z) - Improved Batching Strategy For Irregular Time-Series ODE [0.0]
本稿では, ODE-RNN 上でのランタイムの改善を, 異なる効率的な戦略を用いて提案する。
実験の結果,データの不規則性に応じてODE-RNNのランタイムを2倍から49倍に削減できることがわかった。
論文 参考訳(メタデータ) (2022-07-12T17:30:02Z) - A Comparative Study of Detecting Anomalies in Time Series Data Using
LSTM and TCN Models [2.007262412327553]
本稿では,2つの著名なディープラーニングモデリング手法を比較した。
Recurrent Neural Network (RNN)-based Long Short-Term Memory (LSTM) と Convolutional Neural Network (CNN)-based Temporal Convolutional Networks (TCN) を比較した。
論文 参考訳(メタデータ) (2021-12-17T02:46:55Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。
我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
論文 参考訳(メタデータ) (2021-06-03T17:58:51Z) - On the Memory Mechanism of Tensor-Power Recurrent Models [25.83531612758211]
TPリカレントモデルの記憶機構について検討する。
長期記憶効果を達成するためには, p が重要条件であることが示される。
新しいモデルは、安定して長いメモリ効果の恩恵を受けることが期待されている。
論文 参考訳(メタデータ) (2021-03-02T07:07:47Z) - An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。
非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。
本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
論文 参考訳(メタデータ) (2020-06-29T20:58:57Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。