論文の概要: Sparse Mamba: Reinforcing Controllability In Structural State Space Models
- arxiv url: http://arxiv.org/abs/2409.00563v1
- Date: Sat, 31 Aug 2024 23:25:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 13:55:44.359069
- Title: Sparse Mamba: Reinforcing Controllability In Structural State Space Models
- Title(参考訳): Sparse Mamba: 構造状態空間モデルにおける制御性の強化
- Authors: Emadeldeen Hamdan, Hongyi Pan, Ahmet Enis Cetin,
- Abstract要約: 我々は、自然言語処理(NLP)アプリケーションのためのSparse-Mamba(S-Mamba)において、制御可能性と可観測性の概念をMアンバアーキテクチャに適用する。
- 参考スコア(独自算出の注目度): 2.6353853440763118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this article, we introduce the concept of controllability and observability to the M amba architecture in our Sparse-Mamba (S-Mamba) for natural language processing (NLP) applications. The structured state space model (SSM) development in recent studies, such as Mamba and Mamba2, outperformed and solved the computational inefficiency of transformers and large language models (LLMs) on longer sequences in small to medium NLP tasks. The Mamba SSMs architecture drops the need for attention layer or MLB blocks in transformers. However, the current Mamba models do not reinforce the controllability on state space equations in the calculation of A, B, C, and D matrices at each time step, which increase the complexity and the computational cost needed. In this article we show that the number of parameters can be significantly decreased by reinforcing controllability in the state space equations in the proposed Sparse-Mamba (S-Mamba), while maintaining the performance. The controllable n x n state matrix A is sparse and it has only n free parameters. Our novel approach will ensure a controllable system and could be the gate key for Mamba 3.
- Abstract(参考訳): 本稿では、自然言語処理(NLP)アプリケーションのためのSparse-Mamba(S-Mamba)において、制御性と可観測性の概念をMアンバアーキテクチャに適用する。
Mamba や Mamba2 のような最近の研究における構造化状態空間モデル(SSM)の開発は、小中小の NLP タスクにおいて長いシーケンスで変換器と大言語モデル(LLM)の計算非効率性より優れ、解決された。
Mamba SSMsアーキテクチャは、トランスフォーマーのアテンション層やMLBブロックの必要性を減らしている。
しかし、現在のマンバモデルは、各時間ステップにおけるA, B, C, D行列の計算における状態空間方程式の制御性を強化せず、複雑さと計算コストを増大させる。
本稿では,提案したSparse-Mamba(S-Mamba)における状態空間方程式の制御性を向上し,性能を維持しながらパラメータ数を著しく減少させることができることを示す。
制御可能な n x n 状態行列 A はスパースであり、n 個の自由パラメータしか持たない。
我々の新しいアプローチは、制御可能なシステムを確保し、Mamba 3のゲートキーになり得る。
関連論文リスト
- KalMamba: Towards Efficient Probabilistic State Space Models for RL under Uncertainty [18.611360495409087]
確率的状態空間モデル(SSM)は、制御のための簡潔な表現を提供するため、高次元部分的な情報から強化学習(RL)に不可欠である。
本稿では,確率的SSMの強度と決定論的SSMのスケーラビリティを組み合わせたRLの表現を効率よく学習するKalMambaを提案する。
論文 参考訳(メタデータ) (2024-06-21T13:27:36Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳(メタデータ) (2024-06-20T17:40:18Z) - Mamba State-Space Models Can Be Strong Downstream Learners [1.6385815610837167]
マンバ状態空間モデル(SSM)は、最近様々なタスクにおいて最先端(SLLM)を上回っている。
混合精度(MPFT)と微細チューニング(PEFT)は低評価である。
我々は,MPFTとPEFTを組み合わせることで,最大で毎秒215倍,メモリあたり65.5%のトークンを削減できることを示した。
論文 参考訳(メタデータ) (2024-05-31T21:46:23Z) - MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection [72.46396769642787]
ネスト構造であるMamba-in-Mamba(MiM-ISTD)を開発した。
MiM-ISTDはSOTA法より8倍高速で、2048×2048$のイメージでテストすると、GPUメモリ使用率を62.2$%削減する。
論文 参考訳(メタデータ) (2024-03-04T15:57:29Z) - The Hidden Attention of Mamba Models [54.50526986788175]
Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。
このようなモデルを注意駆動モデルとみなすことができる。
この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
論文 参考訳(メタデータ) (2024-03-03T18:58:21Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳(メタデータ) (2024-02-16T14:56:13Z) - Is Mamba Capable of In-Context Learning? [63.682741783013306]
GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する
この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
論文 参考訳(メタデータ) (2024-02-05T16:39:12Z) - MambaByte: Token-free Selective State Space Model [71.90159903595514]
マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。
MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
論文 参考訳(メタデータ) (2024-01-24T18:53:53Z) - Mamba: Linear-Time Sequence Modeling with Selective State Spaces [31.985243136674146]
ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。
このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。
我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。
一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-01T18:01:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。