論文の概要: Achilles' Heel of Mamba: Essential difficulties of the Mamba architecture demonstrated by synthetic data

• arxiv url: http://arxiv.org/abs/2509.17514v1
• Date: Mon, 22 Sep 2025 08:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.30444
• Title: Achilles' Heel of Mamba: Essential difficulties of the Mamba architecture demonstrated by synthetic data
• Title（参考訳）: マンバのアキレスのヒール : 合成データによるマンバ建築の難しさ
• Authors: Tianyi Chen, Pengxiao Lin, Zhiwei Wang, Zhi-Qin John Xu,
• Abstract要約: ステートスペースモデル(SSM)は、アテンションメカニズムに代わる有望な代替手段として登場した。 本研究では,マンバ固有の制約を明らかにするために,慎重に設計された合成タスクを用いる。
• 参考スコア（独自算出の注目度）: 52.07689534063587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State Space Models (SSMs) have emerged as promising alternatives to attention mechanisms, with the Mamba architecture demonstrating impressive performance and linear complexity for processing long sequences. However, the fundamental differences between Mamba and Transformer architectures remain incompletely understood. In this work, we use carefully designed synthetic tasks to reveal Mamba's inherent limitations. Through experiments, we identify that Mamba's nonlinear convolution introduces an asymmetry bias that significantly impairs its ability to recognize symmetrical patterns and relationships. Using composite function and inverse sequence matching tasks, we demonstrate that Mamba strongly favors compositional solutions over symmetrical ones and struggles with tasks requiring the matching of reversed sequences. We show these limitations stem not from the SSM module itself but from the nonlinear convolution preceding it, which fuses token information asymmetrically. These insights provide a new understanding of Mamba's constraints and suggest concrete architectural improvements for future sequence models.
• Abstract（参考訳）: State Space Models (SSM) は注目のメカニズムに代わる有望な代替手段として登場し、Mambaアーキテクチャは長いシーケンスを処理するのに顕著なパフォーマンスと線形の複雑さを誇示している。 しかし、マンバとトランスフォーマーのアーキテクチャの根本的な違いはいまだに完全に理解されていない。 本研究では,マンバ固有の制約を明らかにするために,慎重に設計された合成タスクを用いる。 実験を通じて、マンバの非線形畳み込みは非対称性バイアスを導入し、対称的なパターンや関係を認識する能力を著しく損なう。 合成関数と逆列マッチングタスクを用いて、マンバは対称関数よりも構成解を強く好んでおり、逆列のマッチングを必要とするタスクに苦慮していることを示す。 これらの制限は、SSMモジュール自体ではなく、トークン情報を非対称に融合させる非線形畳み込みに由来することを示す。 これらの洞察は、Mambaの制約に対する新たな理解を与え、将来のシーケンスモデルの具体的なアーキテクチャ改善を提案する。

関連論文リスト

• Trained Mamba Emulates Online Gradient Descent in In-Context Linear Regression [90.93281146423378]
  Mambaは、Long-Sequence Modelingのための線形複雑性を持つ効率的なTransformer代替品である。 最近の実証研究は、Mambaのテキスト内学習(ICL)がTransformersと競合していることを示している。 本稿では,線形回帰 ICL タスクにおける Mamba のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2025-09-28T09:48:49Z)
• Mamba Modulation: On the Length Generalization of Mamba [34.91142589654215]
  Mambaはステートスペース言語モデルの主要なアーキテクチャである。 プレトレーニング中に見られたものよりも長時間のコンテキストに適用した場合,マンバの性能は著しく低下することがわかった。 本稿では,スペクトルスケーリングを事前学習したMambaモデルに適用して,堅牢な長期コンテキスト一般化を実現する手法を提案する。
  論文  参考訳（メタデータ） (2025-09-23T22:46:19Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• Dynamic Vision Mamba [41.84910346271891]
  マンバベースの視覚モデルは、注意に基づくモデルよりも計算的に効率的であることから、広く注目を集めている。 トークンの冗長性については、初期トークンプルーニング手法がトレーニングと推論の不整合をもたらすことを解析的に見出した。 ブロック冗長性については,マンバ型視覚モデルの推論速度がSSMブロック数に大きく影響しているという経験的観察に基づいて,各画像が動的にSSMブロックを選択することができる。
  論文  参考訳（メタデータ） (2025-04-07T07:31:28Z)
• LaTIM: Measuring Latent Token-to-Token Interactions in Mamba Models [1.249658136570244]
  状態空間モデル(SSM)は、長文シーケンスモデリングのための変換器の効率的な代替品として登場した。 SSMには、注意に基づくアーキテクチャの理解と改善に不可欠であった解釈可能性ツールが欠けている。 我々は, 精密な解釈を可能にする, Mamba-1 と Mamba-2 のトークンレベル分解法である LaTIM を紹介する。
  論文  参考訳（メタデータ） (2025-02-21T17:33:59Z)
• From Markov to Laplace: How Mamba In-Context Learns Markov Chains [36.22373318908893]
  我々はマルコフ連鎖の文脈内学習について研究し、驚くべき現象を明らかにする。 トランスとは異なり、単層マンバでさえ、文脈内ラプラシアスムージング推定器を効率的に学習する。 これらの理論的な洞察は経験的な結果と強く一致し、マンバと最適統計推定器の間の最初の公式な関係を表す。
  論文  参考訳（メタデータ） (2025-02-14T14:13:55Z)
• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• SDE: A Simplified and Disentangled Dependency Encoding Framework for State Space Models in Time Series Forecasting [8.841699904757506]
  精度予測の基本となる3つの重要な依存関係を特定し,正式に定義する。 SDE(Simplified and Disentangled Dependency entangle)は,時系列予測におけるSSMの能力向上を目的とした新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T02:14:59Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバインスパイアされた線形注意(MILA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)
• MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology [10.933433327636918]
  MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。 本稿では,線形複雑度を持つ長周期モデリングのために,Selective Scan Space State Sequential Model(Mamba)をMIL(Multiple Instance Learning)に組み込む。 提案するフレームワークは,最先端のMIL手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-03-11T15:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。