論文の概要: Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion
- arxiv url: http://arxiv.org/abs/2504.08964v1
- Date: Fri, 11 Apr 2025 20:42:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:50:40.957772
- Title: Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion
- Title（参考訳）: シーケンスレベル多元核融合のための双方向線形リカレントモデル
- Authors: Qisai Liu, Zhanhong Jiang, Joshua R. Waite, Chao Liu, Aditya Balu, Soumik Sarkar,
- Abstract要約: BLUR(Bidirectional Linear Unit for Recurrent Network)を導入し,前向きおよび後向きの線形リカレントユニット(LRU)を用いて,過去および将来の依存関係を高い計算効率で捕捉する。
逐次画像と時系列データセットの実験により、BLURはトランスフォーマーや従来のRNNをはるかに上回るだけでなく、計算コストを大幅に削減することが明らかになった。
- 参考スコア（独自算出の注目度）: 10.867398697751742
- License:
- Abstract: Sequence modeling is a critical yet challenging task with wide-ranging applications, especially in time series forecasting for domains like weather prediction, temperature monitoring, and energy load forecasting. Transformers, with their attention mechanism, have emerged as state-of-the-art due to their efficient parallel training, but they suffer from quadratic time complexity, limiting their scalability for long sequences. In contrast, recurrent neural networks (RNNs) offer linear time complexity, spurring renewed interest in linear RNNs for more computationally efficient sequence modeling. In this work, we introduce BLUR (Bidirectional Linear Unit for Recurrent network), which uses forward and backward linear recurrent units (LRUs) to capture both past and future dependencies with high computational efficiency. BLUR maintains the linear time complexity of traditional RNNs, while enabling fast parallel training through LRUs. Furthermore, it offers provably stable training and strong approximation capabilities, making it highly effective for modeling long-term dependencies. Extensive experiments on sequential image and time series datasets reveal that BLUR not only surpasses transformers and traditional RNNs in accuracy but also significantly reduces computational costs, making it particularly suitable for real-world forecasting tasks. Our code is available here.
- Abstract（参考訳）: 特に天気予報、温度モニタリング、エネルギー負荷予測といった分野の時系列予測において、シーケンスモデリングは幅広い応用において重要な課題である。
トランスフォーマーは、その注意機構とともに、効率的な並列トレーニングのために最先端技術として登場したが、2次的時間複雑さに悩まされ、長いシーケンスのスケーラビリティが制限された。
対照的に、リカレントニューラルネットワーク(RNN)は線形時間複雑性を提供し、より計算効率の良いシーケンスモデリングのための線形RNNへの新たな関心を喚起する。
本研究では,前向きおよび後向きの線形リカレントユニット(LRU)を用いて,過去および将来の依存関係を高い計算効率で捕捉するBLUR(Bidirectional Linear Unit for Recurrent network)を提案する。
BLURは従来のRNNの線形時間複雑性を維持しつつ、LRUによる高速並列トレーニングを実現している。
さらに、確実に安定したトレーニングと強力な近似機能を提供し、長期的な依存関係のモデリングに非常に効果的です。
逐次画像と時系列データセットの大規模な実験により、BLURはトランスフォーマーや従来のRNNを精度で超えるだけでなく、計算コストを大幅に削減し、現実世界の予測タスクに特に適していることが明らかになった。
私たちのコードはここにある。
関連論文リスト
- RotRNN: Modelling Long Sequences with Rotations [7.037239398244858]
ステートスペースモデル(SSM)やリニアリカレントユニット(LRU)のような線形リカレントニューラルネットワークは、最近、ロングシーケンスモデリングベンチマークで最先端のパフォーマンスを示している。
回転行列の便利な特性を利用する線形リカレントモデルであるRotRNNを提案する。
本稿では,RotRNNが頑健な正規化手順を備えたシンプルで効率的なモデルを提供し,その理論的導出に忠実な実践的実装であることを示す。
論文 参考訳（メタデータ） (2024-07-09T21:37:36Z) - On the Resurgence of Recurrent Models for Long Sequences -- Survey and
Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。
長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文 参考訳（メタデータ） (2024-02-12T23:55:55Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-20T22:25:47Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - An Improved Time Feedforward Connections Recurrent Neural Networks [3.0965505512285967]
リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。
従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。
勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。
単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
論文 参考訳（メタデータ） (2022-11-03T09:32:39Z) - Parallel Spatio-Temporal Attention-Based TCN for Multivariate Time
Series Prediction [4.211344046281808]
予測ウィンドウの拡張を支援するために注意を払っているリカレントニューラルネットワークは、このタスクの最先端技術である。
それらの消失する勾配、短い記憶、シリアルアーキテクチャは、複雑なデータによる長距離予測にRNNを根本的に不適当にしている、と我々は主張する。
そこで我々は,PSTA-TCNというフレームワークを提案する。これは並列時間的注意機構を組み合わして,動的内部相関を積み重ねたTCNバックボーンから抽出する。
論文 参考訳（メタデータ） (2022-03-02T09:27:56Z) - Online learning of windmill time series using Long Short-term Cognitive
Networks [58.675240242609064]
風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。
我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。
提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
論文 参考訳（メタデータ） (2021-07-01T13:13:24Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Industrial Forecasting with Exponentially Smoothed Recurrent Neural
Networks [0.0]
本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。
指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
論文 参考訳（メタデータ） (2020-04-09T17:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。