論文の概要: Graph Signal Processing Meets Mamba2: Adaptive Filter Bank via Delta Modulation

• arxiv url: http://arxiv.org/abs/2603.22333v1
• Date: Fri, 20 Mar 2026 23:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.071807
• Title: Graph Signal Processing Meets Mamba2: Adaptive Filter Bank via Delta Modulation
• Title（参考訳）: Mamba2のグラフ信号処理 - デルタ変調による適応フィルタバンク
• Authors: Yehjin Shin, Seojin Kim, Noseong Park,
• Abstract要約: 状態空間モデル (SSM) は、線形時間繰り返しに注意を向ける効率的な代替手段を提供する。 最近のSSMベースの言語モデルであるMamba2は、選択的な入力ゲーティングとマルチヘッド構造を使用している。 効率的なSSMのための階層適応フィルタバンク(HADES)を提案する。
• 参考スコア（独自算出の注目度）: 30.994664211855607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-space models (SSMs) offer efficient alternatives to attention with linear-time recurrence. Mamba2, a recent SSM-based language model, uses selective input gating and a multi-head structure, enabling parallel computation and strong benchmark performance. However, its multi-head recurrence operates independently without structured utilization or analysis. In this work, we propose a novel method called Hierarchical ADaptive filter bank for Efficient SSMs (HADES), a Graph Signal Processing (GSP)-inspired framework that reinterprets Mamba2 as an adaptive filter bank on a line graph. Our hierarchical architecture introduces two filter types: shared filters for global low-pass behavior and expert filters for local high-pass behavior, achieved through structured bias on the parameter Δ. HADES achieves comparable performance to baseline models including Mamba2 across various benchmarks in language modeling, commonsense reasoning, and long-context retrieval, while using only 58.9% of the original parameters. In this regard, HADES bridges GSP and neural sequence modeling, enabling efficient, hierarchical, and interpretable filtering within state-space models.
• Abstract（参考訳）: 状態空間モデル (SSM) は、線形時間繰り返しに注意を向ける効率的な代替手段を提供する。 最近のSSMベースの言語モデルであるMamba2は、選択的な入力ゲーティングとマルチヘッド構造を使用して、並列計算と強力なベンチマーク性能を実現する。 しかし、その多頭部再発は構造的利用や分析なしに独立に機能する。 本研究では,グラフ信号処理(GSP)にインスパイアされたフレームワークであるHADES(Hierarchical Adaptive Filter Bank for Efficient SSMs)を提案する。 我々の階層型アーキテクチャでは,大域的低域通過動作のための共有フィルタと,パラメータΔの構造化バイアスによって達成される局所的高域通過挙動のための専門フィルタの2種類を導入している。 HADESは、言語モデリング、コモンセンス推論、長文検索の様々なベンチマークでMamba2を含むベースラインモデルに匹敵する性能を達成し、元のパラメータの58.9%しか使用していない。 この点において、HADESはGSPとニューラルシーケンスモデリングをブリッジし、状態空間モデル内で効率的で階層的で解釈可能なフィルタリングを可能にする。

関連論文リスト

• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation [0.0]
  制御理論は、長期依存の管理に状態空間モデル(SSM)を使うことを強調している。 本研究では,EchoMamba4Recを紹介した。 EchoMambaは既存のモデルよりも優れており、より正確でパーソナライズされたレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2024-06-04T09:07:58Z)
• Frequency-aware Graph Signal Processing for Collaborative Filtering [26.317108637430664]
  協調フィルタリングのための周波数対応グラフ信号処理法(FaGSP)を提案する。 まず,理想的な高域通過フィルタと理想的な低域通過フィルタからなるカスケードフィルタモジュールを設計する。 そこで,2つの低域通過フィルタからなる並列フィルタモジュールを考案した。
  論文  参考訳（メタデータ） (2024-02-13T12:53:18Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Online Multi-Object Tracking and Segmentation with GMPHD Filter and Mask-based Affinity Fusion [79.87371506464454]
  本稿では,インスタンス分割結果を入力として利用するMOTS法を提案する。 提案手法は,ガウス混合確率仮説密度 (GMPHD) フィルタ,階層型データアソシエーション (HDA) モデル,マスクベース親和性融合 (MAF) モデルに基づく。 2つの人気のあるMOTSデータセットの実験では、主要なモジュールがいくつかの改善点を示している。
  論文  参考訳（メタデータ） (2020-08-31T21:06:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。