論文の概要: Beyond State Capacity: Why Retrieval Breaks in Mamba

• arxiv url: http://arxiv.org/abs/2610.19709v1
• Date: Wed, 14 Oct 2026 07:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.004937
• Title: Beyond State Capacity: Why Retrieval Breaks in Mamba
• Title（参考訳）: ムンバ州でレトリーバルが崩壊する理由
• Abstract要約: Mambaモデルはコンテクスト内検索においてTransformerより優れている。 選択機構にもかかわらず,MambaはTransformersよりかなり遅れている。 検索クリティカルなレイヤのゲートが、まだ関連性に一致していないことが分かりました。
• 参考スコア（独自算出の注目度）: 4.193670184235544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mamba models underperform Transformers on in-context retrieval. This gap is usually attributed to Mamba's fixed-size recurrent state, which loses information as the context grows. We challenge this assumption by focusing on query-first retrieval, a setup in which the query precedes the context and state capacity should not be the binding constraint. We show that even in this setting Mamba lags substantially behind Transformers, despite its selection mechanism, which was designed to distinguish relevant content from distractors. We then demonstrate that the Mamba selection gates have sufficient control over the state updates to influence the model output: intervening on specific gates alone can swing accuracy between extremes. However, as gates are input-dependent, they require the incoming token's representation to encode its relevance to the query. We therefore probe token representations across layers, and find that the relevance signal emerges only gradually with model depth, and that the gates begin to reflect it only several layers deeper. Crucially, we find that gates in retrieval-critical layers are not yet aligned with relevance. The selection mechanism is thus expressive enough to solve the task, but it commonly operates on a relevance signal that has not yet arrived. Mamba's retrieval bottleneck therefore extends beyond state capacity: even when capacity is sufficient, the delayed emergence of relevance information across depth often prevents successful retrieval.
• Abstract（参考訳）: Mambaモデルでは、コンテクスト内検索においてトランスフォーマーを過小評価する。 このギャップは通常、コンテキストが大きくなるにつれて情報を失うマンバの固定サイズのリカレント状態に起因している。 我々は、クエリファースト検索に焦点を当て、クエリがコンテキストに先行する設定であり、状態容量はバインディング制約であってはならない、という仮定に挑戦する。 この設定においても、MambaはTransformersよりもかなり遅れており、その選択メカニズムは、関連コンテンツとイントラクタを区別するように設計されている。 次に、Mamba選択ゲートは、モデル出力に影響を与えるために状態更新を十分に制御できることを示した。 しかし、ゲートが入力に依存しているため、入力トークンの表現がクエリとの関連性をエンコードする必要がある。 そこで我々は,各層にまたがるトークン表現を探索し,関係信号がモデル深度とともに徐々に現れること,ゲートが複数の層のみを深く反映し始めることを発見した。 重要なことに、検索クリティカルなレイヤのゲートは、まだ関連性に一致していない。 したがって、選択機構はタスクを解くのに十分な表現力を持つが、通常はまだ到達していない関連信号で機能する。 したがって、マンバの検索ボトルネックは状態容量を超えて広がり、キャパシティが十分である場合でも、深度を越えた関連情報の遅延は、しばしば検索の成功を妨げる。

関連論文リスト

• Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders [0.0]
  Transformerセルフアテンションの二次スケーリングにより、Mambaのようなサブクワッドラティック選択状態空間モデル(SSM)が採用されている。 SSMとTransformerは根本的に異なる潜在表現を学習するのか? 我々はスパースオートエンコーダを用いて,100万トークンコーパス上で,Mamba-130mとPythia-70mの大規模・機能レベルの対応解析を行う。
  論文  参考訳（メタデータ） (2026-09-21T11:35:50Z)
• Norm or Direction? Decoding Vision Mambas for High-Resolution Vision [7.109294730666632]
  VMamba と MambaOut が視覚情報を表現レベルで異なる方法で符号化するかどうかを検討する。 VMambaの最終ステージブロックは、MambaOutとそれ以前のブロックとを明確に異なる表現を形成する。 トークンの大きさと方向構造は、視覚的バックボーンを改善するために重要な軸となると結論付けている。
  論文  参考訳（メタデータ） (2026-07-21T01:49:20Z)
• MambaCount: Efficient Text-guided Open-vocabulary Object Counting with Spatial Sparse State Space Duality Block [8.77642380677869]
  Text-guided Open-vocabulary Object Counting (TOOC) は、テキストプロンプトによって記述されるオブジェクトの数を推定することを目的としている。 Mambaは線形複雑性のために有望な代替手段を提供する。 MambaCountは空間スパース状態空間双対(S4D)ブロック上に構築された効率的なフレームワークである。
  論文  参考訳（メタデータ） (2026-06-16T08:11:58Z)
• TextMamba: Scene Text Detector with Mamba [6.992080935409672]
  本稿では,Mambaをベースとした新しいシーンテキスト検出手法を提案する。 我々はTop_kアルゴリズムを採用し、キー情報を明示的に選択し、Mambaモデリングにおける無関係情報の干渉を低減する。 提案手法は,様々なベンチマークにおいて,最先端または競争性能を実現する。
  論文  参考訳（メタデータ） (2025-12-07T05:06:19Z)
• Differential Mamba [17.835292722130628]
  TransformerやRNNのようなシーケンスモデルは、しばしば無関係なコンテキストに注意を向け、ノイズの多い中間表現をもたらす。 最近の研究は、差分設計がトランスフォーマーにおけるこの問題を緩和し、様々なアプリケーションにおけるそれらの効果を向上させることを示している。 本研究では,マンバへの微分設計の素直な適応は不十分であり,注意深いアーキテクチャ修正が必要であることを示す。
  論文  参考訳（メタデータ） (2025-07-08T17:30:14Z)
• Stuffed Mamba: Oversized States Lead to the Inability to Forget [53.512358993801115]
  Mambaベースのモデルは、内蔵の忘れ物機構であっても、以前のトークンを効果的に忘れるのに苦労していることを示す。 モデルの学習に必要な最小トレーニング長は状態サイズと線形に一致し,5桁パスキーの精度向上のための最大コンテキスト長は状態サイズと指数関数的に一致した。 我々の研究は、将来のRNN設計は、状態サイズ、トレーニング期間、長いコンテキストタスクにおいて堅牢なパフォーマンスを達成するためのメカニズムを忘れることの間の相互作用を考慮しなければならないことを示唆している。
  論文  参考訳（メタデータ） (2024-10-09T17:54:28Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 実世界の長距離NLPタスクに対する実験では、DeciMambaはトレーニング中に見られるものよりも、コンテキスト長に格段に長く当てはまることが示されている。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバインスパイアされた線形注意(MILA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。