論文の概要: Parallel-in-Time Training of Recurrent Neural Networks for Dynamical Systems Reconstruction
- arxiv url: http://arxiv.org/abs/2605.12683v1
- Date: Tue, 12 May 2026 19:32:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.646957
- Title: Parallel-in-Time Training of Recurrent Neural Networks for Dynamical Systems Reconstruction
- Title（参考訳）: 動的システム再構築のためのリカレントニューラルネットワークの並列時間学習
- Authors: Florian Hess, Florian Götz, Daniel Durstewitz,
- Abstract要約: データ(DSR)から非線形力学系を再構築することは、科学と工学における根本的な課題である。
シーケンシャルモデルの最近のブレークスルーは、シーケンス長$T$に沿って並列化するアルゴリズムを生み出している。
本稿では,この課題に対する並列時間アルゴリズムの2つの顕著なクラスについて検討する。
- 参考スコア（独自算出の注目度）: 13.438189447065456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing nonlinear dynamical systems (DS) from data (DSR) is a fundamental challenge in science and engineering, but it inherently relies on sequential models. Recent breakthroughs for sequential models have produced algorithms that parallelize computation along sequence length $T$, achieving logarithmic time complexity, $\mathcal{O}(\log T)$. Since sequence lengths have been practically limited due to the linear runtime complexity $\mathcal{O}(T)$ of classical backpropagation through time, this opens new avenues for DSR. This paper studies two prominent classes of parallel-in-time algorithms for this task, both of which leverage parallel associative scans as their core computational primitive. The first class comprises models with linear yet non-autonomous dynamics and a nonlinear readout, such as modern State Space Models (SSMs), while the second consists of general nonlinear models which can be parallelized using the DEER framework. We find that the linear training-time recurrence of the first class of models imposes limitations that often hinder learning of accurate nonlinear dynamics. To address this, we augment DEER with Generalized Teacher Forcing (GTF), a novel variant within the more general nonlinear framework that ensures stable and effective learning of nonlinear dynamics across arbitrary sequence lengths. Using GTF-DEER, we investigate the benefits of training on extremely long sequences ($T>10^4$) for DSR. Our results show that access to such long trajectories significantly improves DSR if the data features long time scales. This work establishes GTF-DEER as a robust tool for data-driven discovery and underscores the largely untapped potential of long-sequence learning in modeling complex DS.
- Abstract（参考訳）: データ(DSR)から非線形力学系(DS)を再構成することは、科学と工学の基本的な課題であるが、本質的にはシーケンシャルモデルに依存している。
シーケンシャルモデルの最近のブレークスルーは、列長$T$に沿って計算を並列化し、対数時間複雑性、$\mathcal{O}(\log T)$を達成するアルゴリズムを生み出している。
シークエンスの長さは、線形実行時複雑性$\mathcal{O}(T)$の古典的バックプロパゲーションによって実質的に制限されているため、これはDSRの新しい道を開く。
本稿では,並列連想スキャンを中心となる計算プリミティブとして活用する並列時間アルゴリズムの2つの顕著なクラスについて検討する。
第1のクラスは線形だが非自律的力学と現代の状態空間モデル(SSM)のような非線形可読性を持つモデルで構成され、第2のクラスはDEERフレームワークを用いて並列化できる一般的な非線形モデルで構成されている。
第一級モデルの線形学習時間再発は、しばしば正確な非線形力学の学習を妨げる制限を課す。
これを解決するために,より一般的な非線形フレームワークの新たな変種であるGeneralized Teacher Forcing (GTF) を用いてDEERを増強し,任意の列の長さにわたる非線形力学の安定かつ効果的な学習を実現する。
GTF-DEERを用いて,DSRにおける極長シーケンス(T>10^4$)のトレーニングの利点について検討した。
以上の結果から,データに長い時間的スケールがある場合,このような長い軌道へのアクセスはDSRを大幅に改善することが示された。
この研究は、GTF-DEERをデータ駆動型発見のための堅牢なツールとして確立し、複雑なDSをモデル化する際の長文学習のほとんど未解決の可能性を強調している。
関連論文リスト
- Continuous-Time Piecewise-Linear Recurrent Neural Networks [10.4029480932728]
我々は,データ生成DSを近似した生成代理モデルを学習することを目的としている。
科学的・医学的な分野では、これらのモデルは機械的に牽引可能である必要がある。
論文 参考訳（メタデータ） (2026-02-17T15:16:12Z) - ParaRNN: Unlocking Parallel Training of Nonlinear RNNs for Large Language Models [9.107447466062409]
ParaRNNは非線形RNNのシーケンス並列化障壁を破るフレームワークである。
本実装では,シーケンシャルアプリケーション上での最大665倍の高速化を実現している。
ParaRNNは、非線形RNNの自動トレーニング並列化のためのオープンソースフレームワークとしてリリースされた。
論文 参考訳（メタデータ） (2025-10-24T13:28:33Z) - Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。
ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
論文 参考訳（メタデータ） (2025-06-12T17:32:02Z) - MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。
テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2025-06-05T16:50:23Z) - Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion [10.867398697751742]
BLUR(Bidirectional Linear Unit for Recurrent Network)を導入し,前向きおよび後向きの線形リカレントユニット(LRU)を用いて,過去および将来の依存関係を高い計算効率で捕捉する。
逐次画像と時系列データセットの実験により、BLURはトランスフォーマーや従来のRNNをはるかに上回るだけでなく、計算コストを大幅に削減することが明らかになった。
論文 参考訳（メタデータ） (2025-04-11T20:42:58Z) - A Temporal Linear Network for Time Series Forecasting [0.0]
本稿では,線形モデルの能力を拡張しつつ,解釈性と計算効率を向上する時間線形ネット(TLN)を提案する。
我々のアプローチはアーキテクチャ全体を通して厳密な線形性を維持するTSMixerの変種である。
TLNの重要な革新は、同等の線形モデルを計算する能力であり、TSMixerのようなより複雑なアーキテクチャでは見つからないレベルの解釈性を提供する。
論文 参考訳（メタデータ） (2024-10-28T18:51:19Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳（メタデータ） (2024-01-22T13:15:40Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳（メタデータ） (2023-10-04T07:14:43Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。