論文の概要: Characterizing the Behavior of Training Mamba-based State Space Models on GPUs

• arxiv url: http://arxiv.org/abs/2508.17679v1
• Date: Mon, 25 Aug 2025 05:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.645344
• Title: Characterizing the Behavior of Training Mamba-based State Space Models on GPUs
• Title（参考訳）: GPUを用いたトレーニングマンバ型状態空間モデルの挙動評価
• Authors: Trinayan Baruah, Kaustubh Shivdikar, Sara Prescott, David Kaeli,
• Abstract要約: マンバをベースとしたステートスペースモデル(SSM)は、ユビキタストランスフォーマーに代わる有望な代替品として登場した。 変圧器の表現力にもかかわらず、計算注意の二次的な複雑さは、性能のスケーリングの大きな障害である。 当社の作業は、そのようなモデルのパフォーマンスを継続的にスケーリングするための潜在的な最適化について、新たな光を当てています。
• 参考スコア（独自算出の注目度）: 0.252768417304236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mamba-based State Space Models (SSM) have emerged as a promising alternative to the ubiquitous transformers. Despite the expressive power of transformers, the quadratic complexity of computing attention is a major impediment to scaling performance as we increase the sequence length. SSMs provide an alternative path that addresses this problem, reducing the computational complexity requirements of self-attention with novel model architectures for different domains and fields such as video, text generation and graphs. Thus, it is important to characterize the behavior of these emerging workloads on GPUs and understand their requirements during GPU microarchitectural design. In this work we evaluate Mamba-based SSMs and characterize their behavior during training on GPUs. We construct a workload suite that offers representative models that span different model architectures. We then use this suite to analyze the architectural implications of running Mamba-based SSMs on GPUs. Our work sheds new light on potential optimizations to continue scaling the performance for such models.
• Abstract（参考訳）: マンバをベースとしたステートスペースモデル(SSM)は、ユビキタストランスフォーマーに代わる有望な代替品として登場した。 変圧器の表現力にもかかわらず、計算注意の二次的複雑さは、シーケンス長を増大させるにつれて、性能をスケーリングする上で大きな障害となる。 SSMはこの問題に対処する代替パスを提供し、ビデオ、テキスト生成、グラフなど、異なる領域や分野のための新しいモデルアーキテクチャによる自己注意の計算複雑性の要求を減らした。 したがって、GPU上のこれらの新興ワークロードの挙動を特徴づけ、GPUマイクロアーキテクチャ設計時の要求を理解することが重要である。 本研究では,MambaベースのSSMを評価し,GPUのトレーニング中の動作を特徴付ける。 私たちは、異なるモデルアーキテクチャにまたがる代表モデルを提供するワークロードスイートを構築します。 次に、このスイートを使用して、GPU上でMambaベースのSSMを実行することのアーキテクチャ的意味を分析する。 当社の作業は、そのようなモデルのパフォーマンスを継続的にスケーリングするための潜在的な最適化について、新たな光を当てています。

関連論文リスト

• Phantora: Live GPU Cluster Simulation for Machine Learning System Performance Estimation [11.48166268734119]
  Phantoraは、パフォーマンス評価のためのライブGPUクラスタシミュレータである。 イベント駆動ネットワークシミュレータとライブシステム実行を統合する上で、いくつかの研究課題を克服する。 評価の結果,Phantoraは1つのGPUのみで,最先端のワークロードシミュレーション手法に類似した推定精度を実現できることがわかった。
  論文  参考訳（メタデータ） (2025-05-02T22:36:24Z)
• A Comparative Study on Dynamic Graph Embedding based on Mamba and Transformers [0.29687381456164]
  本研究では,変圧器と最近提案されたMambaアーキテクチャを用いた動的グラフ埋め込み手法の比較解析を行った。 グラフ畳み込みネットワークを用いたTransformerG2G Augment、グラフ同型ネットワークエッジ畳み込みを用いたmathcalDG-Mamba、mathcalGDG-Mambaの3つの新しいモデルを紹介した。 複数のベンチマークデータセットに対する実験により,Mambaベースのモデルが,リンク予測タスクにおけるトランスフォーマーベースのアプローチに匹敵する,あるいは優れた性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2024-12-15T19:56:56Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• PackMamba: Efficient Processing of Variable-Length Sequences in Mamba training [13.926804198202582]
  Mambaは、生成AIの分野で画期的なアーキテクチャとして登場し、長いシーケンスを扱うのに顕著な習熟度を示している。 Mambaの既存のトレーニングフレームワークは、可変長シーケンス入力による非効率性を示す。 可変長シーケンスを効率的に処理する高スループットなMambaであるPackMambaを提案する。
  論文  参考訳（メタデータ） (2024-08-07T16:13:43Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
  我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。 従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-16T14:56:13Z)
• Mamba: Linear-Time Sequence Modeling with Selective State Spaces [31.985243136674146]
  ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。 このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。 我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。 一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。