論文の概要: SuPER-Mamba: Surprisal Prioritization for Extended-Context Routing in Mamba

• arxiv url: http://arxiv.org/abs/2610.16636v1
• Date: Mon, 12 Oct 2026 11:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.367979
• Title: SuPER-Mamba: Surprisal Prioritization for Extended-Context Routing in Mamba
• Title（参考訳）: SuPER-Mamba:Mambaにおける拡張コンテキストルーティングのサブプライオリティ化
• Abstract要約: SuPER-Mambaは、Surprisalを長距離状態ルーティングのためのモデル固有の信号として使用する、トレーニング不要のフレームワークである。 我々は、LongBench-Eベンチマークの3つの状態空間モデル上でSuPER-Mambaを評価する。
• 参考スコア（独自算出の注目度）: 0.6445605125467574
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: State space models provide efficient linear-complexity processing for long sequences, but their performance frequently degrades as context length grows. We propose SuPER-Mamba, a training-free framework that uses Surprisal as a model-intrinsic signal for long-range state routing in pretrained Mamba models. SuPER-Mamba computes position-wise Surprisal from next-token predictions, aggregates neighboring responses through Local Pooling, and uses the resulting scores to prioritize Global-Channel updates without query-dependent scoring or additional training. We evaluate SuPER-Mamba on three state-space models across the LongBench-E benchmark. The results show that SuPER-Mamba improves the average score from 8.06 to 15.69, corresponding to a 94.7% relative gain over the Base Models and a 13.1% improvement over the state-of-the-art prior baseline. Ablation and length-wise analyses further support the effectiveness of the proposed routing framework.
• Abstract（参考訳）: 状態空間モデルは、長い列に対して効率的な線形複雑処理を提供するが、その性能は文脈長が大きくなるにつれて劣化する。 SuPER-Mambaは、訓練済みのMambaモデルにおける長距離状態ルーティングのためのモデル固有信号としてSurprisalを使用する、トレーニング不要のフレームワークである。 SuPER-Mambaは、次のトーケン予測から位置推定を計算し、ローカルポーリングを通じて近隣のレスポンスを集約し、結果のスコアを使用して、クエリ依存のスコア付けや追加のトレーニングなしでグローバルチャネル更新を優先順位付けする。 我々は、LongBench-Eベンチマークの3つの状態空間モデル上でSuPER-Mambaを評価する。 その結果、SuPER-Mambaは平均スコアを8.06から15.69に改善し、ベースモデルよりも94.7%、最先端のベースラインよりも13.1%向上した。 アブレーションおよび長さ解析は、提案したルーティングフレームワークの有効性をさらに支持する。

関連論文リスト

• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaLRP: Explaining Selective State Space Sequence Models [18.133138020777295]
  選択状態空間列モデル(マンバモデルと呼ばれる)を用いた最近のシーケンスモデリング手法は、関心が高まりつつある。 これらのモデルは、線形時間における長いシーケンスの効率的な処理を可能にし、言語モデリングのような広範囲のアプリケーションで急速に採用されている。 現実のシナリオにおける信頼性の高い利用を促進するためには、透明性を高めることが重要です。
  論文  参考訳（メタデータ） (2024-06-11T12:15:47Z)
• An Investigation of Incorporating Mamba for Speech Enhancement [64.59903328820624]
  本研究の目的は、最近提案された、注意のないスケーラブルな状態空間モデル(SSM)であるMambaを用いて、音声強調(SE)タスクを実現することである。 私たちはMambaを使って,基本,先進,因果,非因果といった,さまざまな構成のレグレッションベースのSEモデル(SEMamba)をデプロイしています。 SEMambaはVoiceBank-DEMANDデータセットで3.55のPESQを獲得し、高度な非因果構成を持つ。
  論文  参考訳（メタデータ） (2024-05-10T16:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。