論文の概要: Technologies on Effectiveness and Efficiency: A Survey of State Spaces Models

• arxiv url: http://arxiv.org/abs/2503.11224v1
• Date: Fri, 14 Mar 2025 09:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:09:20.234702
• Title: Technologies on Effectiveness and Efficiency: A Survey of State Spaces Models
• Title（参考訳）: 有効性と効率に関する技術:国家空間モデルの調査
• Authors: Xingtai Lv, Youbang Sun, Kaiyan Zhang, Shang Qu, Xuekai Zhu, Yuchen Fan, Yi Wu, Ermo Hua, Xinwei Long, Ning Ding, Bowen Zhou,
• Abstract要約: ステートスペースモデル(SSM)は、人気のあるトランスフォーマーベースのモデルに代わる有望な代替品として登場した。 SSMはシーケンシャルなデータやより長いコンテキストを持つタスクに優れ、高い効率で同等のパフォーマンスを誇示する。
• 参考スコア（独自算出の注目度）: 29.757128378420802
• License:
• Abstract: State Space Models (SSMs) have emerged as a promising alternative to the popular transformer-based models and have been increasingly gaining attention. Compared to transformers, SSMs excel at tasks with sequential data or longer contexts, demonstrating comparable performances with significant efficiency gains. In this survey, we provide a coherent and systematic overview for SSMs, including their theoretical motivations, mathematical formulations, comparison with existing model classes, and various applications. We divide the SSM series into three main sections, providing a detailed introduction to the original SSM, the structured SSM represented by S4, and the selective SSM typified by Mamba. We put an emphasis on technicality, and highlight the various key techniques introduced to address the effectiveness and efficiency of SSMs. We hope this manuscript serves as an introduction for researchers to explore the theoretical foundations of SSMs.
• Abstract（参考訳）: ステートスペースモデル(SSM)は、人気のあるトランスフォーマーベースのモデルに代わる有望な代替品として登場し、ますます注目を集めている。 変換器と比較して、SSMはシーケンシャルなデータや長いコンテキストを持つタスクに優れており、高い効率性を持つ同等のパフォーマンスを示す。 本稿では,SSMの理論的モチベーション,数学的定式化,既存モデルクラスとの比較,各種アプリケーションなどについて概説する。 我々はSSMシリーズを3つの主要なセクションに分割し、オリジナルのSSM、S4で表される構造化SSM、Mambaで代表される選択SSMを詳細に紹介する。 技術的に重点を置いて,SSMの有効性と効率性に対処するために導入された様々な重要な技術を強調した。 この写本が、研究者がSSMの理論的基礎を探求するための入門となることを願っている。

関連論文リスト

• Generalization Error Analysis for Selective State-Space Models Through the Lens of Attention [2.8998926117101367]
  ステートスペースモデル(State-space Model、SSM)は、トランスフォーマーの代替として登場した新しい基礎モデルである。 本稿では,MambaアーキテクチャとMamba-2アーキテクチャのコアコンポーネントである選択SSMの詳細な理論的解析を行う。
  論文  参考訳（メタデータ） (2025-02-03T16:05:31Z)
• Understanding and Mitigating Bottlenecks of State Space Models through the Lens of Recency and Over-smoothing [56.66469232740998]
  構造化状態空間モデル (Structured State Space Models, SSMs) は, 強い相対バイアスによって本質的に制限されていることを示す。 このバイアスにより、モデルが遠方の情報を思い出す能力が損なわれ、堅牢性の問題がもたらされる。 本研究では, 状態遷移行列の2つのチャネルをSSMで分極し, それぞれ0と1に設定し, 電流バイアスと過平滑化に同時に対処することを提案する。
  論文  参考訳（メタデータ） (2024-12-31T22:06:39Z)
• Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
  継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。 ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。 大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
  論文  参考訳（メタデータ） (2024-11-23T06:36:16Z)
• Parameter-Efficient Fine-Tuning of State Space Models [10.817729275974829]
  Deep State Space Models (SSM) は言語モデリングの強力なツールとして登場し、効率的な推論とシーケンス長の線形スケーリングを備えたハイパフォーマンスを提供する。 本稿では,パラメータ効率細調整法(PEFT)のSSMモデルへの適用を体系的に研究することを目的とする。
  論文  参考訳（メタデータ） (2024-10-11T17:30:28Z)
• On Efficient Variants of Segment Anything Model: A Survey [63.127753705046]
  Segment Anything Model (SAM) は画像分割タスクの基本モデルであり、多様なアプリケーションにまたがる強力な一般化で知られている。 これを解決するために、精度を保ちながら効率を高めるために様々なSAM変種が提案されている。 この調査は、これらの効率的なSAM変種に関する最初の包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-10-07T11:59:54Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• The Expressive Capacity of State Space Models: A Formal Language Perspective [0.8948475969696075]
  線形状態空間モデル(SSM)に基づくリカレントモデルは、言語モデリング(LM)において有望な性能を示した。 本稿では,変換器や従来のRNNと比較して,そのようなSSMの容量に関する包括的理論的研究を行う。
  論文  参考訳（メタデータ） (2024-05-27T17:46:57Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• State Space Model for New-Generation Network Alternative to Transformers: A Survey [52.812260379420394]
  深層学習時代において、Transformerアーキテクチャは、トレーニング済みのビッグモデルとさまざまなダウンストリームタスクにまたがる強力なパフォーマンスを示してきた。 注意モデルの複雑さをさらに軽減するために、より効率的な手法を設計するための多くの努力がなされている。 その中でも、自己注意に基づくトランスフォーマーモデルの代替として、ステートスペースモデル(SSM)が近年ますます注目を集めている。
  論文  参考訳（メタデータ） (2024-04-15T07:24:45Z)
• State Space Models as Foundation Models: A Control Theoretic Overview [3.3222241150972356]
  近年、ディープニューラルネットワークアーキテクチャにおける線形状態空間モデル(SSM)の統合への関心が高まっている。 本論文は、制御理論者のためのSSMベースのアーキテクチャの穏やかな導入を目的としたものである。 もっとも成功したSSM提案の体系的なレビューを提供し、コントロール理論の観点から主要な特徴を強調している。
  論文  参考訳（メタデータ） (2024-03-25T16:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。