論文の概要: Diagonal Equivalence in State Space Models: Characterization, Retrieval Rank, and Selective Extensions

• arxiv url: http://arxiv.org/abs/2611.03101v1
• Date: Mon, 02 Nov 2026 13:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 13:24:06.238878
• Title: Diagonal Equivalence in State Space Models: Characterization, Retrieval Rank, and Selective Extensions
• Title（参考訳）: 状態空間モデルにおける対角的等価性:特徴付け、検索ランク、選択拡張
• Abstract要約: ハイブリッドマンバは、マンバ1の1対座標の崩壊、マンバ2スタイルの頭部とマンバ3の複雑な回転と2点書き込みを組み合わせている。 5つの大きなH100 bfloat16ワークロードにおいて、当社の融合GPUカーネルは、一致したSISOリカバリにおいて、公式のMamba 1/3よりも幾何平均トレーニング時間を改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We classify real and complex state-space models (SSMs) with linear transitions, distinguishing fixed-basis diagonal equivalence from input-output equivalence and tracking coefficient-conditioning windows under coordinate changes. We characterize diagonal equivalence through commuting transition families whose members are diagonalizable over the chosen field. With time-shared token-local matrix maps, we identify this class's state-mediated kernels with unnormalized scalar-mode linear attention with multiplicative masks. Mamba 3's multiple-input, multiple-output (MIMO) construction lifts one value per local interface; SSD-MIMO routes independent values for local retrieval rank above one. HybridMamba combines Mamba 1's per-coordinate decay, Mamba 2-style heads and Mamba 3's complex rotations and two-endpoint writes, mixing real and rotating state blocks with different decay laws. They recover Mamba 1-3 single-input, single-output (SISO) configurations as exact special cases. On five large H100 bfloat16 workloads, our fused GPU kernels improve geometric-mean training time over official Mamba 1/3 in matched SISO recoveries, with Mamba 2 near parity at SSM-core scope. Memory tradeoffs depend on the baseline and metric: saved-for-backward versus peak allocation. In small-model multi-token recall experiments, both designs outperform Mamba 1-3 on the hardest tier; higher routing ranks perform best in gated or phase-diverse configurations. In single-seed language models with about 500M parameters, both improve on Mamba 1/2 in test loss at 2B tokens, but the routing gains do not translate into lower language-model loss. Our best configurations approach Mamba 3 SISO through 10B tokens while remaining behind it and Mamba 3 MIMO in language-model loss.
• Abstract（参考訳）: 我々は、線形遷移を伴う実数および複素状態空間モデル(SSM)を分類し、入出力等価性から固定基底対角同値を識別し、座標変化下での係数条件付きウィンドウを追跡する。 我々は、選択されたフィールドに対して対角化可能な遷移族を交換することで、対角同値性を特徴付ける。 時間分割されたトークン局所行列写像を用いて,非正規化スカラーモード線形注意と乗法マスクを併用した状態媒介カーネルを同定する。 Mamba 3のマルチインプット・マルチアウトプット(MIMO)構造は、ローカルインターフェース毎に1つの値を持ち上げ、SSD-MIMOは1以上のローカル検索ランクに対して独立した値をルーティングする。 ハイブリッドマンバは、マンバ1の1対座標崩壊、マンバ2型ヘッド、マンバ3の複素回転と2対点書き込みを組み合わせ、実数と回転状態ブロックを異なる崩壊則で混合する。 Mamba 1-3シングルインプット、シングルアウトプット(SISO)設定を正確に特別なケースとして復元する。 5つの大きなH100 bfloat16ワークロードにおいて、当社の融合GPUカーネルは、一致したSISOリカバリにおいて、公式のMamba 1/3よりも幾何平均トレーニング時間を改善し、SSMコアスコープではMamba 2がほぼ同値である。 メモリのトレードオフはベースラインとメトリックに依存します。 小型のマルチトーケンリコール実験では、どちらの設計も最も硬い層においてMamba 1-3よりも優れており、高いルーティングランクはゲートや位相の異なる構成で最高である。 約5億のパラメータを持つシングルシード言語モデルでは、どちらも2BトークンでのMamba 1/2のテスト損失を改善するが、ルーティングゲインは言語モデル損失に変換されない。 最良構成は10Bトークンを通してMamba 3 SISOに近づき、Mamba 3 MIMOは言語モデル損失である。

関連論文リスト

• MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
  本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。 MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。 HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
  論文  参考訳（メタデータ） (2026-06-22T10:14:06Z)
• Mamba-3: Improved Sequence Modeling using State Space Principles [74.41028882099846]
  線形モデルの状態空間モデル(SSM)の視点に触発された3つの中核的方法論的改善を紹介する。 アーキテクチャの改良とともに、Mamba-3モデルは、検索、状態追跡、下流言語モデリングタスク間で大きな進歩を遂げます。
  論文  参考訳（メタデータ） (2026-03-16T17:30:08Z)
• A2Mamba: Attention-augmented State Space Models for Visual Recognition [45.68176825375723]
  本稿では,トランスフォーマー-マンバハイブリッドネットワークアーキテクチャであるA2Mambaを提案する。 A2SSMのキーステップは、空間的にSSMの隠された状態を集約することで、異種交叉アテンションを実行する。 私たちのA2Mambaは、視覚認識タスクにおいて、以前のConvNet-、Transformer-、およびMambaベースのアーキテクチャよりも優れています。
  論文  参考訳（メタデータ） (2025-07-22T14:17:08Z)
• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• Sparse Mamba: Introducing Controllability, Observability, And Stability To Structural State Space Models [2.6353853440763118]
  提案するS-Mambaにおいて,元のMamba SSMアーキテクチャに可制御性と可観測性の概念を導入する。 従来のMambaアーキテクチャの可制御性と可観測性を強化した上で, 難易度を5%改善し, トレーニング時間を3%短縮した。
  論文  参考訳（メタデータ） (2024-08-31T23:25:12Z)
• MambaMIM: Pre-training Mamba with State Space Token Interpolation and its Application to Medical Image Segmentation [23.67774523461722]
  我々はMambaMIMと呼ばれる汎用的な事前学習フレームワークを提案する。 MambaMIMはマスキングシーケンス内の状態空間の因果関係を学習する。 我々は6.8KCTの大規模データセットでMambaMIMを事前訓練する。
  論文  参考訳（メタデータ） (2024-08-15T10:35:26Z)
• An Empirical Study of Mamba-based Language Models [69.74383762508805]
  Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。 同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T05:25:15Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバインスパイアされた線形注意(MILA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。