論文の概要: Attention Mamba: Time Series Modeling with Adaptive Pooling Acceleration and Receptive Field Enhancements

• arxiv url: http://arxiv.org/abs/2504.02013v1
• Date: Wed, 02 Apr 2025 05:56:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:55:57.432498
• Title: Attention Mamba: Time Series Modeling with Adaptive Pooling Acceleration and Receptive Field Enhancements
• Title（参考訳）: アテンション・マンバ:アダプティブ・プール・アクセラレーションと受容場拡張を用いた時系列モデリング
• Authors: Sijie Xiong, Shuqing Liu, Cheng Tang, Fumiya Okubo, Haoling Xiong, Atsushi Shimada,
• Abstract要約: 時系列モデリングは、天気予報や交通管理といった現実世界の応用の基礎となっている。 近年、Mambaは線形に近い計算複雑性と高い予測精度を組み合わせた有望なモデルとなっている。 本稿では,Adaptive Poolingブロックを特徴とする,革新的なフレームワークであるAttention Mambaを紹介する。
• 参考スコア（独自算出の注目度）: 3.8526053173298127
• License:
• Abstract: "This work has been submitted to the lEEE for possible publication. Copyright may be transferred without noticeafter which this version may no longer be accessible." Time series modeling serves as the cornerstone of real-world applications, such as weather forecasting and transportation management. Recently, Mamba has become a promising model that combines near-linear computational complexity with high prediction accuracy in time series modeling, while facing challenges such as insufficient modeling of nonlinear dependencies in attention and restricted receptive fields caused by convolutions. To overcome these limitations, this paper introduces an innovative framework, Attention Mamba, featuring a novel Adaptive Pooling block that accelerates attention computation and incorporates global information, effectively overcoming the constraints of limited receptive fields. Furthermore, Attention Mamba integrates a bidirectional Mamba block, efficiently capturing long-short features and transforming inputs into the Value representations for attention mechanisms. Extensive experiments conducted on diverse datasets underscore the effectiveness of Attention Mamba in extracting nonlinear dependencies and enhancing receptive fields, establishing superior performance among leading counterparts. Our codes will be available on GitHub.
• Abstract（参考訳）: 「この著作は、出版のためにlEEEに提出されている。著作権は、この版がもはやアクセスできない旨の通知なしに譲渡することができる。」 時系列モデリングは、天気予報や交通管理といった現実世界の応用の基礎となっている。 近年,コンボリューションによる非線型依存のモデリングが不十分なことや,畳み込みによる受容領域の制限といった課題に直面しつつ,近線形計算複雑性と時系列モデリングにおける高い予測精度を組み合わせた有望なモデルとなっている。 これらの制約を克服するため,本論文では,アダプティブ・ポーリングブロックを新たに導入し,アダプティブ・ポーリングブロックに注意計算を高速化し,グローバル情報を組み込むことにより,制限された受容領域の制約を効果的に克服する,革新的なフレームワークであるAttention Mambaを紹介する。 さらに、Attention Mambaは双方向のMambaブロックを統合し、長短の特徴を効率的に捉え、注意機構のための値表現に入力を変換する。 多様なデータセットを用いて行った大規模な実験は、非線型依存の抽出と受容場の向上において、アテンション・マンバの有効性を立証し、主要なデータセットよりも優れた性能を確立した。 私たちのコードはGitHubで公開されます。

関連論文リスト

• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• Mamba in Vision: A Comprehensive Survey of Techniques and Applications [3.4580301733198446]
  Mambaは、コンピュータビジョンにおいて、畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)が直面する課題を克服するための、新しいアプローチとして登場した。 MambaはSelective Structured State Space Modelsを活用して、線形計算の複雑さで長距離依存を効果的に捉えることで、これらの制限に対処する。
  論文  参考訳（メタデータ） (2024-10-04T02:58:49Z)
• Simplified Mamba with Disentangled Dependency Encoding for Long-Term Time Series Forecasting [8.841699904757506]
  本稿では,予測精度の向上に不可欠な3つの重要な依存関係を特定し,正式に定義する。 本稿では,アンタングル化された依存性エンコーディングを備えた単純化されたMambaであるSAMBAを提案する。 9つの実世界のデータセットの実験は、最先端の予測モデルに対するSAMBAの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-22T02:14:59Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
  局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。 このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。 ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
  論文  参考訳（メタデータ） (2024-08-05T16:39:39Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 実世界の長距離NLPタスクに対する実験では、DeciMambaはトレーニング中に見られるものよりも、コンテキスト長に格段に長く当てはまることが示されている。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
  長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。 近年,Mamba という新しい状態空間モデル (SSM) が提案されている。 入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:45:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。