論文の概要: Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks

• arxiv url: http://arxiv.org/abs/2602.22719v1
• Date: Thu, 26 Feb 2026 07:46:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.583583
• Title: Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks
• Title（参考訳）: 活性化サブスペースボトルネックによる状態空間モデルの解釈とステアリング
• Authors: Vamshi Sunku Mohan, Kaustubh Gupta, Aneesha Das, Chandan Singh,
• Abstract要約: ステートスペースモデル(SSM)は、強力な言語モデルを構築するための効率的な戦略として登場した。 彼らの約束にもかかわらず、現代のSSMの解釈可能性と操縦性は、いまだに未熟である。 本研究では,SSMモデルのMamba族におけるアクティベーションサブスペースボトルネックを,機械的解釈可能性のツールを用いて同定する。
• 参考スコア（独自算出の注目度）: 6.542236618174232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-space models (SSMs) have emerged as an efficient strategy for building powerful language models, avoiding the quadratic complexity of computing attention in transformers. Despite their promise, the interpretability and steerability of modern SSMs remain relatively underexplored. We take a major step in this direction by identifying activation subspace bottlenecks in the Mamba family of SSM models using tools from mechanistic interpretability. We then introduce a test-time steering intervention that simply multiplies the activations of the identified bottlenecks by a scalar. Across 5 SSMs and 6 diverse benchmarks, this intervention improves performance by an average of 8.27%, without requiring any task-specific tuning. Finally, we validate that the identified bottlenecks are indeed hindering performance by modifying them to yield an architecture we call Stable-Mamba, which achieves long-context performance gains when retrained from scratch.
• Abstract（参考訳）: 状態空間モデル(SSM)は強力な言語モデルを構築するための効率的な戦略として登場し、トランスフォーマーにおけるコンピューティングの注意の二次的な複雑さを避ける。 彼らの約束にもかかわらず、現代のSSMの解釈可能性と操縦性は、いまだに未熟である。 機械的解釈性から得られるツールを用いて,SSMモデルのMamba族における活性化サブスペースボトルネックを特定することにより,この方向への大きな一歩を踏み出す。 次に、スカラーによって特定されたボトルネックのアクティベーションを単純に乗じるテストタイムステアリングの介入を導入する。 5つのSSMと6つの多様なベンチマークで、この介入はタスク固有のチューニングを必要とせずに平均8.27%の性能を向上させる。 最後に、識別されたボトルネックが、Stable-Mambaと呼ばれるアーキテクチャを生成できるように修正することで、パフォーマンスを妨げていることを検証します。

関連論文リスト

• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• StruMamba3D: Exploring Structural Mamba for Self-supervised Point Cloud Representation Learning [31.585380521480868]
  自己教師付きポイントクラウド表現学習のための新しいパラダイムであるStruMamba3Dを提案する。 空間状態を設計し,それらをプロキシとして用いて点間の空間的依存関係を保存する。 提案手法は,ModelNet40上でのSOTA 95.1%の精度と,投票戦略を使わずに最も難しい分割ScanObjectNN上での92.75%の精度を実現する。
  論文  参考訳（メタデータ） (2025-06-26T17:58:05Z)
• On the locality bias and results in the Long Range Arena [49.15148871877941]
  Long Range ArenaベンチマークはTransformerの改良性能を評価するために設計された。 ステート・スペース・モデル(SSM)のような新しいアーキテクチャは、LRAのトランスフォーマーよりも優れていた。 LRAは長距離依存モデリングのベンチマークであるが、実際にはほとんどのパフォーマンスは短距離依存によるものである。
  論文  参考訳（メタデータ） (2025-01-24T15:34:50Z)
• Rethinking Token Reduction for State Space Models [47.00760373683448]
  状態空間モデル(SSM)のための調整・統一されたポストトレーニングトークン削減手法を提案する。 我々のアプローチはトークンの重要性と類似性を統合し、プルーニングとマージの両方を活用する。 本手法は,Mamba-2を用いた6つのベンチマークにおいて,従来の手法と比較して平均精度を5.7%から13.1%向上させる。
  論文  参考訳（メタデータ） (2024-10-16T00:06:13Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。