論文の概要: Mamba-360: Survey of State Space Models as Transformer Alternative for Long Sequence Modelling: Methods, Applications, and Challenges
- arxiv url: http://arxiv.org/abs/2404.16112v1
- Date: Wed, 24 Apr 2024 18:10:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 18:12:20.931786
- Title: Mamba-360: Survey of State Space Models as Transformer Alternative for Long Sequence Modelling: Methods, Applications, and Challenges
- Title(参考訳): Mamba-360:Long Sequence Modellingに代わる変圧器としての状態空間モデルの調査:方法、応用、課題
- Authors: Badri Narayana Patro, Vijay Srinivas Agneeswaran,
- Abstract要約: 状態空間モデル(SSM)は、シーケンスモデリングのパラダイムの代替として期待できるものとして登場した。
この調査では、視覚、ビデオ、音声、音声、言語(特に長いシーケンスモデリング)、医学(ゲノミクスを含む)、化学(薬物設計のような)、レコメンデーションシステム、時系列分析など、さまざまな分野におけるSSMの応用について紹介する。
- 参考スコア(独自算出の注目度): 1.4408339076385341
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sequence modeling is a crucial area across various domains, including Natural Language Processing (NLP), speech recognition, time series forecasting, music generation, and bioinformatics. Recurrent Neural Networks (RNNs) and Long Short Term Memory Networks (LSTMs) have historically dominated sequence modeling tasks like Machine Translation, Named Entity Recognition (NER), etc. However, the advancement of transformers has led to a shift in this paradigm, given their superior performance. Yet, transformers suffer from $O(N^2)$ attention complexity and challenges in handling inductive bias. Several variations have been proposed to address these issues which use spectral networks or convolutions and have performed well on a range of tasks. However, they still have difficulty in dealing with long sequences. State Space Models(SSMs) have emerged as promising alternatives for sequence modeling paradigms in this context, especially with the advent of S4 and its variants, such as S4nd, Hippo, Hyena, Diagnol State Spaces (DSS), Gated State Spaces (GSS), Linear Recurrent Unit (LRU), Liquid-S4, Mamba, etc. In this survey, we categorize the foundational SSMs based on three paradigms namely, Gating architectures, Structural architectures, and Recurrent architectures. This survey also highlights diverse applications of SSMs across domains such as vision, video, audio, speech, language (especially long sequence modeling), medical (including genomics), chemical (like drug design), recommendation systems, and time series analysis, including tabular data. Moreover, we consolidate the performance of SSMs on benchmark datasets like Long Range Arena (LRA), WikiText, Glue, Pile, ImageNet, Kinetics-400, sstv2, as well as video datasets such as Breakfast, COIN, LVU, and various time series datasets. The project page for Mamba-360 work is available on this webpage.\url{https://github.com/badripatro/mamba360}.
- Abstract(参考訳): シーケンスモデリングは自然言語処理(NLP)、音声認識、時系列予測、音楽生成、バイオインフォマティクスなど、さまざまな分野において重要な領域である。
Recurrent Neural Networks(RNN)とLong Short Term Memory Networks(LSTM)は歴史的に、機械翻訳、名前付きエンティティ認識(NER)といったシーケンスモデリングタスクを支配してきた。
しかし、変圧器の進歩は、優れた性能を考えれば、このパラダイムの変化につながっている。
しかし、変換器は$O(N^2)$注目の複雑さと帰納バイアスを扱う際の課題に悩まされる。
スペクトルネットワークや畳み込みを使い、様々なタスクでうまく機能するこれらの問題に対処するために、いくつかのバリエーションが提案されている。
しかし、それらは長いシーケンスを扱うのに依然として困難である。
状態空間モデル(SSM)は、特にS4の出現や、S4nd、Hippo、Hyena、Diagnol State Spaces(DSS)、Gated State Spaces(GSS)、LRU、Liquid-S4、Mambaなどの変種と共に、この文脈におけるシーケンスモデリングパラダイムの有望な代替品として登場した。
本稿では,3つのパラダイム,すなわちゲーティングアーキテクチャ,構造アーキテクチャ,リカレントアーキテクチャに基づいて,基本的なSSMを分類する。
この調査ではまた、視覚、ビデオ、音声、音声、言語(特に長いシーケンスモデリング)、医学(ゲノミクスを含む)、化学(薬物設計のような)、レコメンデーションシステム、および表データを含む時系列分析など、さまざまな領域におけるSSMの応用についても強調した。
さらに,Long Range Arena (LRA), WikiText, Glue, Pile, ImageNet, Kinetics-400, sstv2などのベンチマークデータセットと,Breakfast, COIN, LVU, および各種時系列データセットのSSMの性能を集約した。
Mamba-360のプロジェクトページは、このWebページにある。
https://github.com/badripatro/mamba360}。
関連論文リスト
- Mamba-ND: Selective State Space Modeling for Multi-Dimensional Data [26.457571615782985]
状態空間モデルに基づくMambaは、テキストシーケンスをモデル化するための同等のパフォーマンスを実現することが示されている。
本稿では,Mambaアーキテクチャを任意の多次元データに拡張した汎用設計であるMamba-NDを提案する。
我々は,Mamba-NDが,多次元ベンチマークにおける最先端技術と性能の競争力を示すことを示す。
論文 参考訳(メタデータ) (2024-02-08T18:30:50Z) - nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark
Detection with State Space Model [24.955052600683423]
本稿では、CNNの強みとステートスペースシーケンスモデル(SSM)の高度な長距離モデリング機能を統合する新しいアーキテクチャであるnnMambaを紹介する。
6つのデータセットの実験では、3D画像のセグメンテーション、分類、ランドマーク検出など、一連の困難なタスクにおいて、nnMambaが最先端のメソッドよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-02-05T21:28:47Z) - VM-UNet: Vision Mamba UNet for Medical Image Segmentation [3.170171905334503]
医用画像セグメンテーションのためのU字型アーキテクチャモデルVision Mamba UNet(VM-UNet)を提案する。
我々はISIC17,ISIC18,Synapseデータセットの総合的な実験を行い,VM-UNetが医用画像分割タスクにおいて競争力を発揮することを示す。
論文 参考訳(メタデータ) (2024-02-04T13:37:21Z) - Mamba: Linear-Time Sequence Modeling with Selective State Spaces [37.786327629797654]
ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。
このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。
我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。
一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-01T18:01:34Z) - Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。
トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文 参考訳(メタデータ) (2023-10-30T16:11:06Z) - Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors [44.5740422079]
標準的なデノベーション目的による事前トレーニングは、複数のアーキテクチャで劇的に向上することを示す。
先行研究とは対照的に、適切に事前訓練された場合の長距離アリーナでのS4の性能に適合するバニラトランスフォーマーが見つかる。
論文 参考訳(メタデータ) (2023-10-04T17:17:06Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳(メタデータ) (2023-06-11T23:13:51Z) - Multi-Graph Convolution Network for Pose Forecasting [0.8057006406834467]
本稿では,3次元ポーズ予測のための多グラフ畳み込みネットワーク(MGCN)を提案する。
MGCNは、ポーズシーケンスのための拡張グラフを導入することで、空間情報と時間情報を同時にキャプチャする。
評価では,MGCNはポーズ予測において最先端の予測よりも優れていた。
論文 参考訳(メタデータ) (2023-04-11T03:59:43Z) - MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form
Video Question Answering [73.61182342844639]
我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。
MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。
異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
論文 参考訳(メタデータ) (2022-12-19T15:05:40Z) - Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。
我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
論文 参考訳(メタデータ) (2020-11-08T15:53:56Z) - DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style
Word Generator [61.70748716353692]
オーディオ・ビジュアル・シーン・アウェア・ダイアログ(AVSD)は、あるシーン、ビデオ、オーディオ、ダイアログの前のターン履歴で質問に対する応答を生成するタスクである。
このタスクの既存のシステムは、エンコーダ-デコーダフレームワークを備えたトランスフォーマーまたはリカレントニューラルネットワークベースのアーキテクチャを採用している。
本稿では,マルチモーダル・セマンティック・トランスフォーマー・ネットワークを提案し,単語の埋め込みを問合せすることで単語を生成する単語埋め込み層を備えたトランスフォーマー・アーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-04-01T07:10:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。