論文の概要: FAConvLSTM: Factorized-Attention ConvLSTM for Efficient Feature Extraction in Multivariate Climate Data
- arxiv url: http://arxiv.org/abs/2601.10914v1
- Date: Fri, 16 Jan 2026 00:07:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-19 20:21:50.311968
- Title: FAConvLSTM: Factorized-Attention ConvLSTM for Efficient Feature Extraction in Multivariate Climate Data
- Title(参考訳): FAConvLSTM:多変量気候データにおける効率的な特徴抽出のための因子認識型ConvLSTM
- Authors: Francis Ndikum Nji, Jianwu Wang,
- Abstract要約: FAConvLSTMはConvLSTM2Dの代替として設計されたFactized-Attention ConvLSTM層である。
FAConvLSTMはより安定で、解釈可能で、頑健な潜在表現となり、計算オーバーヘッドを大幅に削減する。
- 参考スコア(独自算出の注目度): 0.193544284424478
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning physically meaningful spatiotemporal representations from high-resolution multivariate Earth observation data is challenging due to strong local dynamics, long-range teleconnections, multi-scale interactions, and nonstationarity. While ConvLSTM2D is a commonly used baseline, its dense convolutional gating incurs high computational cost and its strictly local receptive fields limit the modeling of long-range spatial structure and disentangled climate dynamics. To address these limitations, we propose FAConvLSTM, a Factorized-Attention ConvLSTM layer designed as a drop-in replacement for ConvLSTM2D that simultaneously improves efficiency, spatial expressiveness, and physical interpretability. FAConvLSTM factorizes recurrent gate computations using lightweight [1 times 1] bottlenecks and shared depthwise spatial mixing, substantially reducing channel complexity while preserving recurrent dynamics. Multi-scale dilated depthwise branches and squeeze-and-excitation recalibration enable efficient modeling of interacting physical processes across spatial scales, while peephole connections enhance temporal precision. To capture teleconnection-scale dependencies without incurring global attention cost, FAConvLSTM incorporates a lightweight axial spatial attention mechanism applied sparsely in time. A dedicated subspace head further produces compact per timestep embeddings refined through temporal self-attention with fixed seasonal positional encoding. Experiments on multivariate spatiotemporal climate data shows superiority demonstrating that FAConvLSTM yields more stable, interpretable, and robust latent representations than standard ConvLSTM, while significantly reducing computational overhead.
- Abstract(参考訳): 高分解能多変量地球観測データから物理的に有意な時空間表現を学習することは、強い局所力学、長距離遠隔通信、マルチスケール相互作用、非定常性のために困難である。
ConvLSTM2Dは一般的に使用されるベースラインであるが、その密集した畳み込みゲーティングは高い計算コストを発生させ、その厳密な局所受容場は長距離空間構造のモデリングと解離した気候力学を制限している。
FAConvLSTMは,ConvLSTM2Dのドロップイン置換として設計され,効率,空間表現性,物理的解釈性を同時に向上する。
FAConvLSTMは、軽量な[1×1]ボトルネックと共有深度空間混合を用いて、リカレントゲート計算を分解し、リカレントダイナミクスを保ちながら、チャネルの複雑さを著しく低減する。
マルチスケール拡張深度分岐と圧縮・励起再校正により、空間的スケールにわたって相互作用する物理過程の効率的なモデリングが可能となり、ピープホール接続は時間的精度を高める。
FAConvLSTMは、グローバルな注意コストを伴わずに、テレコネクションスケールの依存関係を捕捉するために、少ない時間で適用された軽量な軸方向の空間的注意機構を組み込む。
専用サブスペースヘッドは、季節的位置符号化を固定した時間的自己アテンションにより洗練されたタイムステップ毎の埋め込みをさらにコンパクトにする。
多変量時空間気候データを用いた実験では、FAConvLSTMは標準のConvLSTMよりも安定で、解釈可能で、頑健な潜伏表現が得られるが、計算オーバーヘッドは大幅に減少する。
関連論文リスト
- OptiVote: Non-Coherent FSO Over-the-Air Majority Vote for Communication-Efficient Distributed Federated Learning in Space Data Centers [68.73273027298625]
メガコンステレーションは、宇宙データセンター(SDC)の長期的なビジョンを推進している
AirCompはフリースペース(FSO)を学習するためのネットワーク内集約フレームワーク
AirVoteは符号勾配(SGD)と多数符号変調(PPM)を統合し、各衛星はPPMタイムスロットを活性化することで局所勾配を伝達する。
OptiVoteは位相依存性電場重ね合わせを位相非依存光強度結合に緩和する。
論文 参考訳(メタデータ) (2025-12-30T16:40:02Z) - SSCM: A Spatial-Semantic Consistent Model for Multi-Contrast MRI Super-Resolution [11.194678655584788]
MC-MRI SRは、高分解能(HR)参照を活用することで、低分解能(LR)コントラストを強化することを目的としている。
主な課題は、空間的なセマンティックな一貫性を維持することである。
論文 参考訳(メタデータ) (2025-09-23T03:24:32Z) - ST-LINK: Spatially-Aware Large Language Models for Spatio-Temporal Forecasting [7.853736939635847]
逐次的依存関係をキャプチャする大規模言語モデルの能力を高める新しいフレームワークST-LINKを紹介する。
その鍵となる構成要素は空間拡張注意(SE-Attention)とメモリ検索フィードフォワードネットワーク(MRFFN)である。
論文 参考訳(メタデータ) (2025-09-17T07:11:45Z) - B-TGAT: A Bi-directional Temporal Graph Attention Transformer for Clustering Multivariate Spatiotemporal Data [0.15763762230817438]
本稿では,2次元グラフ注意変換器(B-TGAT)を統合した時間分散ハイブリッドU-Netオートコーダを提案する。
エンコーダとデコーダは、共同時空間特徴を抽出するConvLSTM2Dモジュールを備えている。
実験は、最先端のベースラインと比較して、クラスター分離性、時間的安定性、既知の気候遷移との整合性が優れていることを示した。
論文 参考訳(メタデータ) (2025-09-16T16:08:21Z) - StoxLSTM: A Stochastic Extended Long Short-Term Memory Network for Time Series Forecasting [20.120876019697445]
拡張長短期記憶(exended Long Short-Term Memory, xLSTM)ネットワークは、様々な時系列アプリケーションにおいて複雑な時間的依存関係をモデル化する能力の強化により、広く研究の関心を集めている。
我々はxLSTMと呼ばれるxLSTMを提案し、xLSTM内に潜伏変数を組み込むことで、元のアーキテクチャを状態空間モデリングフレームワークに改良する。
複数の研究コミュニティから公開されているベンチマークデータセットの実験では、StoxLSTMは、より堅牢でより強力な一般化能力を備えた最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2025-09-01T07:11:05Z) - Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。
我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2025-05-17T23:15:17Z) - Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。
マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。
HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
論文 参考訳(メタデータ) (2024-10-04T06:19:29Z) - Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。
実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
論文 参考訳(メタデータ) (2024-08-01T15:14:10Z) - SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。
我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。
SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
論文 参考訳(メタデータ) (2024-04-12T14:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。