論文の概要: InfoMamba: An Attention-Free Hybrid Mamba-Transformer Model
- arxiv url: http://arxiv.org/abs/2603.18031v1
- Date: Sun, 08 Mar 2026 18:08:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:42.404452
- Title: InfoMamba: An Attention-Free Hybrid Mamba-Transformer Model
- Title（参考訳）: InfoMamba: Atention-free Hybrid Mamba-Transformer Model
- Authors: Youjin Wang, Jiaqiao Zhao, Rong Fu, Run Zhou, Ruizhe Zhang, Jiani Liang, Suisuai Cao, Feng Zhou,
- Abstract要約: 本稿では、対角的短メモリSSMが因果的注意を近似できる場合に特徴付ける一貫性境界解析を提案する。
この分析により,注意のないハイブリッドアーキテクチャであるInfoMambaを提案する。
- 参考スコア（独自算出の注目度）: 5.889846622892644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Balancing fine-grained local modeling with long-range dependency capture under computational constraints remains a central challenge in sequence modeling. While Transformers provide strong token mixing, they suffer from quadratic complexity, whereas Mamba-style selective state-space models (SSMs) scale linearly but often struggle to capture high-rank and synchronous global interactions. We present a consistency boundary analysis that characterizes when diagonal short-memory SSMs can approximate causal attention and identifies structural gaps that remain. Motivated by this analysis, we propose InfoMamba, an attention-free hybrid architecture. InfoMamba replaces token-level self-attention with a concept bottleneck linear filtering layer that serves as a minimal-bandwidth global interface and integrates it with a selective recurrent stream through information-maximizing fusion (IMF). IMF dynamically injects global context into the SSM dynamics and encourages complementary information usage through a mutual-information-inspired objective. Extensive experiments on classification, dense prediction, and non-vision tasks show that InfoMamba consistently outperforms strong Transformer and SSM baselines, achieving competitive accuracy-efficiency trade-offs while maintaining near-linear scaling.
- Abstract（参考訳）: 計算制約下での長距離依存性キャプチャーによるきめ細かい局所モデリングのバランシングは、シーケンスモデリングにおける中心的な課題である。
トランスフォーマーは強力なトークンミキシングを提供するが、2次的な複雑さに悩まされる一方、Mambaスタイルの選択的状態空間モデル(SSM)は線形にスケールするが、高ランクで同期的なグローバルな相互作用を捉えるのに苦労することが多い。
本稿では、対角的短メモリSSMが因果的注意を近似できる場合に特徴付ける一貫性境界解析を行い、残る構造的ギャップを同定する。
この分析により,注意のないハイブリッドアーキテクチャであるInfoMambaを提案する。
InfoMambaはトークンレベルの自己アテンションを、最小バンド幅のグローバルインターフェースとして機能するコンセプトのボトルネック線形フィルタリングレイヤに置き換え、情報最大化融合(IMF)を通じて選択的なリカレントストリームに統合する。
IMFはグローバルコンテキストをSSMのダイナミックスに動的に注入し、相互情報に触発された目的を通じて補完的な情報利用を促進する。
分類、密接な予測、非可視性タスクに関する広範な実験は、InfoMambaがトランスフォーマーとSSMベースラインを一貫して上回り、ニア線形スケーリングを維持しながら、競争の精度と効率のトレードオフを達成することを示している。
関連論文リスト
- AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba [56.52470564147458]
マルチモーダル融合と感情分析のための効率的かつ効率的なフレームワークである textbfAlignMamba-2 を提案する。
提案手法では, 最適輸送距離と最大平均離散度の両方を用いてモデルを正規化する2つのアライメント戦略を導入する。
さらに重要なことは、モダリティに特有かつモダリティに偏ったエキスパートによるMixture-of-Expertsアーキテクチャを採用したModality-Aware Mamba層を設計することです。
論文 参考訳（メタデータ） (2026-03-19T03:47:21Z) - TSkel-Mamba: Temporal Dynamic Modeling via State Space Model for Human Skeleton-based Action Recognition [59.99922360648663]
TSkel-Mambaは、空間力学と時間力学の両方を効果的に捉えるハイブリッドトランスフォーマー-Mambaフレームワークである。
MTIモジュールはマルチスケールのCycle演算子を使用して、チャネル間の時間的相互作用をキャプチャする。
論文 参考訳（メタデータ） (2025-12-12T11:55:16Z) - FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。
本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。
FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
論文 参考訳（メタデータ） (2025-11-26T08:36:33Z) - HyM-UNet: Synergizing Local Texture and Global Context via Hybrid CNN-Mamba Architecture for Medical Image Segmentation [3.976000861085382]
HyM-UNet は,CNN の局所的特徴抽出能力を,Mamba の効率的なグローバルモデリング能力と相乗化するために設計された。
エンコーダとデコーダのセマンティックギャップを埋めるため,Mamba-Guided Fusion Skip Connectionを提案する。
その結果,HyM-UNetはDice係数とIoUで既存の最先端手法を著しく上回ることがわかった。
論文 参考訳（メタデータ） (2025-11-22T09:02:06Z) - MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture [12.168520751389622]
ハイパースペクトル画像(HSI)分類は、高次元データ、限られたトレーニングサンプル、スペクトル冗長性といった課題に直面している。
本稿では,3D-CNNの局所特徴抽出,Transformerのグローバルモデリング,Mambaの線形シーケンスモデリング機能を統合した新しいMVNetネットワークアーキテクチャを提案する。
IN、UP、KSCデータセットでは、MVNetは分類精度と計算効率の両方で主流のハイパースペクトル画像分類法より優れている。
論文 参考訳（メタデータ） (2025-07-06T14:52:26Z) - Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。
Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。
本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
論文 参考訳（メタデータ） (2025-06-22T19:26:55Z) - VRS-UIE: Value-Driven Reordering Scanning for Underwater Image Enhancement [104.78586859995333]
状態空間モデル(SSM)は、線形複雑性と大域的受容場のために、視覚タスクの有望なバックボーンとして登場した。
大型で均質だが無意味な海洋背景の優位性は、希少で価値ある標的の特徴表現応答を希薄にすることができる。
水中画像強調(UIE)のための新しい値駆動リダクションスキャンフレームワークを提案する。
本フレームワークは, 水バイアスを効果的に抑制し, 構造や色彩の忠実さを保ち, 優れた向上性能(WMambaを平均0.89dB超える)を実現する。
論文 参考訳（メタデータ） (2025-05-02T12:21:44Z) - DynSTG-Mamba: Dynamic Spatio-Temporal Graph Mamba with Cross-Graph Knowledge Distillation for Gait Disorders Recognition [0.3517488417793045]
DynTG-Mambaは、DF-STGNNとSTG-Mambaを組み合わせてモーションモデリングを強化する新しいフレームワークである。
DF-STGNNは、骨格関節と時間的相互作用を適応的に調整する動的空間フィルタを組み込んでいる。
マンバの拡張であるSTG-Mambaは、計算コストを削減しつつ、状態の継続的な伝播を保証する。
論文 参考訳（メタデータ） (2025-03-17T13:26:47Z) - SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba [19.761723108363796]
FusionMamba はコンピュータビジョンタスクにおいて CNN や Vision Transformers (ViT) が直面する課題を克服することを目的としている。
このフレームワークは動的畳み込みとチャネルアテンション機構を統合することで、視覚的状態空間モデルMambaを改善している。
実験により、FusionMambaは様々なマルチモーダル画像融合タスクや下流実験で最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2024-04-15T06:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。