論文の概要: Minimal Convolutional RNNs Accelerate Spatiotemporal Learning
- arxiv url: http://arxiv.org/abs/2508.03614v1
- Date: Tue, 05 Aug 2025 16:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:56.074366
- Title: Minimal Convolutional RNNs Accelerate Spatiotemporal Learning
- Title（参考訳）: 最小の畳み込みRNNは時空間学習を加速する
- Authors: Coşku Can Horuz, Sebastian Otte, Martin V. Butz, Matthias Karlbauer,
- Abstract要約: 畳み込みリカレントネットワークの空間バイアスと最小並列RNNのトレーニング効率を組み合わせた2つの時間モデルであるMinConvLSTMとMinConvGRUを紹介する。
我々のモデルは、構造的に最小限の計算と計算効率であり、パラメータ数を削減し、スケーラビリティを改善している。
- 参考スコア（独自算出の注目度）: 4.918567856499736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce MinConvLSTM and MinConvGRU, two novel spatiotemporal models that combine the spatial inductive biases of convolutional recurrent networks with the training efficiency of minimal, parallelizable RNNs. Our approach extends the log-domain prefix-sum formulation of MinLSTM and MinGRU to convolutional architectures, enabling fully parallel training while retaining localized spatial modeling. This eliminates the need for sequential hidden state updates during teacher forcing - a major bottleneck in conventional ConvRNN models. In addition, we incorporate an exponential gating mechanism inspired by the xLSTM architecture into the MinConvLSTM, which further simplifies the log-domain computation. Our models are structurally minimal and computationally efficient, with reduced parameter count and improved scalability. We evaluate our models on two spatiotemporal forecasting tasks: Navier-Stokes dynamics and real-world geopotential data. In terms of training speed, our architectures significantly outperform standard ConvLSTMs and ConvGRUs. Moreover, our models also achieve lower prediction errors in both domains, even in closed-loop autoregressive mode. These findings demonstrate that minimal recurrent structures, when combined with convolutional input aggregation, offer a compelling and efficient alternative for spatiotemporal sequence modeling, bridging the gap between recurrent simplicity and spatial complexity.
- Abstract（参考訳）: 畳み込みリカレントネットワークの空間帰納バイアスと最小限の並列化可能なRNNのトレーニング効率を組み合わせた2つの新しい時空間モデルMinConvLSTMとMinConvGRUを紹介する。
提案手法は,MinLSTMとMinGRUの対数領域プレフィックス・サムの定式化を畳み込み型アーキテクチャに拡張し,局所的な空間モデリングを維持しながら完全に並列なトレーニングを可能にする。
これにより、教師強制中のシーケンシャルなシークエンシャルな状態更新が不要になる。
さらに、xLSTMアーキテクチャにインスパイアされた指数的ゲーティング機構をMinConvLSTMに組み込み、ログドメイン計算をさらに単純化する。
我々のモデルは構造的に最小限であり、計算効率が良く、パラメータ数を減らし、スケーラビリティが向上している。
Navier-Stokes dynamics と real-world geopotential data の2つの時空間予測タスクでモデルを評価する。
トレーニング速度の面では、私たちのアーキテクチャは標準のConvLSTMやConvGRUよりも大幅に優れています。
さらに, 閉ループ自己回帰モードにおいても, 両方の領域での予測誤差が低い。
これらの結果から,畳み込み型入力アグリゲーションと組み合わさって最小限のリカレント構造が,再カレントな単純さと空間的複雑さのギャップを埋める,時空間列モデリングの魅力的な,効率的な代替手段となることが示唆された。
関連論文リスト
- Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。
ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
論文 参考訳（メタデータ） (2025-06-12T17:32:02Z) - A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。
このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
論文 参考訳（メタデータ） (2024-08-26T17:50:47Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳（メタデータ） (2024-04-15T06:01:48Z) - Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。
トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文 参考訳（メタデータ） (2023-10-30T16:11:06Z) - Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。
我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。
本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
論文 参考訳（メタデータ） (2023-07-04T05:19:19Z) - Disentangling Structured Components: Towards Adaptive, Interpretable and
Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。
SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。
SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文 参考訳（メタデータ） (2023-05-22T13:39:44Z) - Hybrid-Layers Neural Network Architectures for Modeling the
Self-Interference in Full-Duplex Systems [23.55330151898652]
フル分析(FD)システムは、周波数リソースを介して情報を同時送信する。
本稿では、低複雑性でローカライズされた2つの新しいハイブリッド層ニューラルネットワーク(NN)アーキテクチャを提案する。
提案されたNNは、隠れた層(例えば密度の高い層)を組み合わせて、最先端のNNベースのキャンセラよりも計算複雑性の低いSIをモデル化する。
論文 参考訳（メタデータ） (2021-10-18T14:18:56Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文 参考訳（メタデータ） (2020-10-02T12:35:04Z) - Automatic Remaining Useful Life Estimation Framework with Embedded
Convolutional LSTM as the Backbone [5.927250637620123]
組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。
ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。
RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-08-10T08:34:20Z) - Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network
for Forecasting Network-wide Traffic State with Missing Values [23.504633202965376]
我々は、RNNベースのモデルに注目し、RNNとその変種を交通予測モデルに組み込む方法を再検討する。
トラフィック状態予測のためのニューラルネットワーク構造の設計を支援するために,スタック型双方向・一方向LSTMネットワークアーキテクチャ(SBU-LSTM)を提案する。
また,LSTM構造(LSTM-I)におけるデータ計算機構を提案する。
論文 参考訳（メタデータ） (2020-05-24T00:17:15Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。