論文の概要: Motif-Mamba: network motif improved mamba for long-range sequence modeling

• arxiv url: http://arxiv.org/abs/2608.00027v1
• Date: Tue, 14 Jul 2026 02:24:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 06:38:39.358536
• Title: Motif-Mamba: network motif improved mamba for long-range sequence modeling
• Title（参考訳）: Motif-Mamba:長距離シーケンスモデリングのためのネットワークモチーフの改良
• Abstract要約: モチーフ制約付き低ランクリカレントパスでMambaを増強する構造的状態空間モデルを提案する。 3ノードネットワークモチーフのダイナミクスに触発され、提案経路は隠れた状態をコンパクトな部分空間に投影する。 長いシーケンス外挿、言語モデリングベンチマーク、脳-コンピュータインタフェースデコーディングの実験は、Mambaのバックボーンよりも一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 18.33820128740968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient long-sequence modeling remains a central challenge for large language models, as self-attention scales quadratically with sequence length. Mamba offers a linear-time alternative through selective state space recurrence, but its predominantly diagonal state transitions restrict explicit interactions among state dimensions. We propose Motif-Mamba, a structured state space model that augments Mamba with a motif-constrained low-rank recurrent pathway. Inspired by the dynamics of three-node network motifs, the proposed pathway projects hidden states into a compact dynamical subspace, imposes motif-guided interactions, and maps the resulting dynamics back to the original state space. This design enhances cross-dimensional communication while preserving the linear-time recurrent structure of Mamba. Experiments on long-sequence extrapolation, language modeling benchmarks, and brain--computer interface decoding show consistent improvements over Mamba backbones, suggesting that motif-guided low-rank dynamics provide an effective structural prior for long-range sequence modeling.
• Abstract（参考訳）: 効率のよいロングシーケンスモデリングは、大規模言語モデルにおいて中心的な課題であり、自己注意はシーケンス長で2次的にスケールする。 マンバは選択的な状態空間の再帰を通じて線形時間的な代替手段を提供するが、その主に対角状態遷移は状態次元間の明示的な相互作用を制限する。 モチーフ制約付き低ランクリカレント経路でMambaを増大させる構造化状態空間モデルであるMotif-Mambaを提案する。 3ノードネットワークモチーフのダイナミクスに触発されて提案された経路は、隠れた状態をコンパクトな動的部分空間に投影し、モチーフ誘導相互作用を課し、その結果のダイナミクスを元の状態空間にマッピングする。 この設計は,マンバの線形時間リカレント構造を保ちながら,クロス次元通信を強化する。 長いシーケンス外挿、言語モデリングベンチマーク、脳-コンピュータインタフェースデコーディングの実験は、マンバのバックボーンよりも一貫した改善を示し、モチーフ誘導低ランクダイナミクスが長距離シーケンスモデリングに有効な構造をもたらすことを示唆している。

関連論文リスト

• MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
  本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。 MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。 HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
  論文  参考訳（メタデータ） (2026-06-22T10:14:06Z)
• TSkel-Mamba: Temporal Dynamic Modeling via State Space Model for Human Skeleton-based Action Recognition [59.99922360648663]
  TSkel-Mambaは、空間力学と時間力学の両方を効果的に捉えるハイブリッドトランスフォーマー-Mambaフレームワークである。 MTIモジュールはマルチスケールのCycle演算子を使用して、チャネル間の時間的相互作用をキャプチャする。
  論文  参考訳（メタデータ） (2025-12-12T11:55:16Z)
• Gather-Scatter Mamba: Accelerating Propagation with Efficient State Space Model [15.551773379039675]
  ステート・スペース・モデル(SSM)は歴史的にシーケンシャル・モデリングにおいて中心的な役割を果たしてきた。 Mambaのような選択型SSMの最近の進歩は、魅力的な代替手段を提供する。 本研究では,空間的コンテキストアグリゲーションのためのシフトウィンドウ自己アテンションと,効率的な時間的伝搬のためのマンバ型選択走査を組み合わせたハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-10-01T13:11:13Z)
• Mamba Modulation: On the Length Generalization of Mamba [34.91142589654215]
  Mambaはステートスペース言語モデルの主要なアーキテクチャである。 プレトレーニング中に見られたものよりも長時間のコンテキストに適用した場合,マンバの性能は著しく低下することがわかった。 本稿では,スペクトルスケーリングを事前学習したMambaモデルに適用して,堅牢な長期コンテキスト一般化を実現する手法を提案する。
  論文  参考訳（メタデータ） (2025-09-23T22:46:19Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Mamba-Driven Topology Fusion for Monocular 3D Human Pose Estimation [41.14182025718559]
  本研究では,マンバ駆動トポロジフュージョンによる3次元ポーズ推定手法を提案する。 具体的には,提案した骨認識モジュールは球面座標系における骨ベクトルの方向と長さを推定する。 また、シーケンス内の時間的関係と空間的関係の両方をモデル化する時空間リファインメントモジュールを設計する。
  論文  参考訳（メタデータ） (2025-05-27T01:21:57Z)
• HMamba: Hyperbolic Mamba for Sequential Recommendation [39.60869234694072]
  双曲的マンバ(英: Hyperbolic Mamba)は、マンバの選択的状態空間機構と双曲幾何学の階層的表現力の効率を統一する新しいアーキテクチャである。 我々は,Hyperbolic Mambaが線形時間効率を維持しながら3-11%の改善を実現し,実世界の展開を可能にしたことを示す。
  論文  参考訳（メタデータ） (2025-05-14T07:34:36Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• The Hidden Attention of Mamba Models [54.50526986788175]
  Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。 このようなモデルを注意駆動モデルとみなすことができる。 この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
  論文  参考訳（メタデータ） (2024-03-03T18:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。