論文の概要: ST-MambaSync: The Confluence of Mamba Structure and Spatio-Temporal Transformers for Precipitous Traffic Prediction
- arxiv url: http://arxiv.org/abs/2404.15899v1
- Date: Wed, 24 Apr 2024 14:41:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 19:01:10.908971
- Title: ST-MambaSync: The Confluence of Mamba Structure and Spatio-Temporal Transformers for Precipitous Traffic Prediction
- Title(参考訳): ST-MambaSync: 降雨量予測のためのマンバ構造と時空間変圧器の対応
- Authors: Zhiqi Shao, Xusheng Yao, Ze Wang, Junbin Gao,
- Abstract要約: 本研究はST-MambaSyncについて紹介する。ST-MambaSyncは、合理化された注意層と単純化された状態空間層を統合する革新的なフレームワークである。
本研究では, 注意機構とマンバ成分の関係について検討し, 残りのネットワーク構造において, マンバ関数が注意に類似していることを明らかにする。
この比較分析により、状態空間モデルの効率が向上し、計算コストの削減による優れた性能を実現する能力が解明される。
- 参考スコア(独自算出の注目度): 36.89741338367832
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Balancing accuracy with computational efficiency is paramount in machine learning, particularly when dealing with high-dimensional data, such as spatial-temporal datasets. This study introduces ST-MambaSync, an innovative framework that integrates a streamlined attention layer with a simplified state-space layer. The model achieves competitive accuracy in spatial-temporal prediction tasks. We delve into the relationship between attention mechanisms and the Mamba component, revealing that Mamba functions akin to attention within a residual network structure. This comparative analysis underpins the efficiency of state-space models, elucidating their capability to deliver superior performance at reduced computational costs.
- Abstract(参考訳): 計算効率と精度のバランスをとることは、特に時空間データセットのような高次元データを扱う場合、機械学習において最重要である。
本研究はST-MambaSyncについて紹介する。ST-MambaSyncは、合理化された注意層と単純化された状態空間層を統合する革新的なフレームワークである。
このモデルは時空間予測タスクにおける競合精度を実現する。
我々は、注意機構とマンバ成分の関係を掘り下げ、マンバ関数が残留ネットワーク構造内の注意に類似していることを明らかにする。
この比較分析により、状態空間モデルの効率が向上し、計算コストの削減による優れた性能を実現する能力が解明される。
関連論文リスト
- Theoretical Foundations of Deep Selective State-Space Models [14.989266348816749]
ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。
最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。
ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
論文 参考訳(メタデータ) (2024-02-29T11:20:16Z) - Low-Frequency Load Identification using CNN-BiLSTM Attention Mechanism [0.0]
非侵入負荷モニタリング(Non-Inrusive Load Monitoring, NILM)は、効率的な電力消費管理のための確立された技術である。
本稿では,畳み込みニューラルネットワーク(CNN)と双方向長短期記憶(BILSTM)を組み合わせたハイブリッド学習手法を提案する。
CNN-BILSTMモデルは、時間的(時間的)と空間的(位置的)の両方の特徴を抽出し、アプライアンスレベルでのエネルギー消費パターンを正確に識別することができる。
論文 参考訳(メタデータ) (2023-11-14T21:02:27Z) - PrACTiS: Perceiver-Attentional Copulas for Time Series [27.107746150930055]
本稿では、時系列予測を強化するために、知覚アーキテクチャとコプラ構造を組み合わせたモデルを提案する。
認識器をエンコーダとして利用することにより、複雑な高次元のマルチモーダルデータをコンパクトな潜在空間に効率よく変換する。
また,コプラに基づくアテンションと出力分散試験機構を配置し,欠落データの連成分布を抽出する。
論文 参考訳(メタデータ) (2023-10-03T01:13:17Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳(メタデータ) (2023-08-19T08:17:41Z) - ST-MLP: A Cascaded Spatio-Temporal Linear Framework with
Channel-Independence Strategy for Traffic Forecasting [47.74479442786052]
時空間グラフニューラルネットワーク(STGNN)に関する現在の研究は、しばしば複雑な設計を優先し、精度をわずかに向上させるだけで計算負荷を発生させる。
マルチ層パーセプトロン(MLP)モジュールと線形層のみをベースとした,簡潔な時空間モデルST-MLPを提案する。
実験の結果,ST-MLPは最先端STGNNと他のモデルよりも精度と計算効率の点で優れていた。
論文 参考訳(メタデータ) (2023-08-14T23:34:59Z) - Self-learning locally-optimal hypertuning using maximum entropy, and
comparison of machine learning approaches for estimating fatigue life in
composite materials [0.0]
疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。
予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
論文 参考訳(メタデータ) (2022-10-19T12:20:07Z) - DepthFormer: Exploiting Long-Range Correlation and Local Information for
Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。
我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。
提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文 参考訳(メタデータ) (2022-03-27T05:03:56Z) - Spatiotemporal convolutional network for time-series prediction and
causal inference [21.895413699349966]
時系列のマルチステップ予測を効率的に正確にレンダリングするために、ニューラルネットワークコンピューティングフレームワークi.N.N.を開発した。
このフレームワークは、人工知能(AI)や機械学習分野の実践的応用において大きな可能性を秘めている。
論文 参考訳(メタデータ) (2021-07-03T06:20:43Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳(メタデータ) (2020-10-23T11:18:20Z) - DynaMiTe: A Dynamic Local Motion Model with Temporal Constraints for
Robust Real-Time Feature Matching [47.72468932196169]
本稿では,ディスクリプタ入力に非依存な軽量パイプラインDynaMiTeを提案する。
DynaMiTeは、マッチング精度とフレームレートの高いカメラポーズ推定の両方で優れた結果を得る。
論文 参考訳(メタデータ) (2020-07-31T12:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。