論文の概要: MHS-VM: Multi-Head Scanning in Parallel Subspaces for Vision Mamba

• arxiv url: http://arxiv.org/abs/2406.05992v1
• Date: Mon, 10 Jun 2024 03:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 15:06:21.970822
• Title: MHS-VM: Multi-Head Scanning in Parallel Subspaces for Vision Mamba
• Title（参考訳）: MHS-VM:Vision Mambaの並列サブスペースにおけるマルチヘッドスキャン
• Authors: Zhongping Ji,
• Abstract要約: Mambaとのステートスペースモデル(SSM)は、線形複雑性を伴う長距離依存性モデリングを大いに約束している。 1次元選択的スキャンにより2次元画像空間内の視覚的特徴を効果的に整理・構築するために,新しいマルチヘッドスキャン(MHS)モジュールを提案する。 その結果、マルチヘッドスキャンプロセスから得られたサブ埋め込みは統合され、最終的に高次元空間に投影される。
• 参考スコア（独自算出の注目度）: 0.43512163406552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, State Space Models (SSMs), with Mamba as a prime example, have shown great promise for long-range dependency modeling with linear complexity. Then, Vision Mamba and the subsequent architectures are presented successively, and they perform well on visual tasks. The crucial step of applying Mamba to visual tasks is to construct 2D visual features in sequential manners. To effectively organize and construct visual features within the 2D image space through 1D selective scan, we propose a novel Multi-Head Scan (MHS) module. The embeddings extracted from the preceding layer are projected into multiple lower-dimensional subspaces. Subsequently, within each subspace, the selective scan is performed along distinct scan routes. The resulting sub-embeddings, obtained from the multi-head scan process, are then integrated and ultimately projected back into the high-dimensional space. Moreover, we incorporate a Scan Route Attention (SRA) mechanism to enhance the module's capability to discern complex structures. To validate the efficacy of our module, we exclusively substitute the 2D-Selective-Scan (SS2D) block in VM-UNet with our proposed module, and we train our models from scratch without using any pre-trained weights. The results indicate a significant improvement in performance while reducing the parameters of the original VM-UNet. The code for this study is publicly available at https://github.com/PixDeep/MHS-VM.
• Abstract（参考訳）: 近年,Mambaを主例とする状態空間モデル (SSM) は,線形複雑性を伴う長距離依存性モデリングにおいて大きな期待を抱いている。 そして、Vision Mambaとその後のアーキテクチャを順次提示し、視覚的なタスクでうまく機能する。 Mambaを視覚タスクに適用する重要なステップは、2次元視覚的特徴を逐次的に構築することだ。 1次元選択的スキャンにより2次元画像空間内の視覚的特徴を効果的に整理・構築するために,新しいマルチヘッドスキャン(MHS)モジュールを提案する。 前層から抽出した埋め込みは、複数の低次元部分空間に投影される。 その後、各部分空間内で、選択走査が異なるスキャン経路に沿って実行される。 その結果、マルチヘッドスキャンプロセスから得られたサブ埋め込みは統合され、最終的に高次元空間に投影される。 さらに,SRA(Scan Route Attention)機構を導入し,複雑な構造を識別するモジュールの能力を高める。 モジュールの有効性を検証するため,VM-UNet の 2D-Selective-Scan (SS2D) ブロックを提案モジュールに置き換えた。 結果は、元のVM-UNetのパラメータを減らしながら、パフォーマンスが大幅に向上したことを示している。 この研究のコードはhttps://github.com/PixDeep/MHS-VMで公開されている。

関連論文リスト

• DAMamba: Vision State Space Model with Dynamic Adaptive Scan [51.81060691414399]
  状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。 スキャン順序と領域を適応的に割り当てるデータ駆動型動的適応スキャン(DAS)を提案する。 DASをベースとしたビジョンバックボーンDAMambaの提案は,現在のビジョンタスクにおけるMambaモデルよりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-02-18T08:12:47Z)
• Mamba2D: A Natively Multi-Dimensional State-Space Model for Vision Tasks [47.49096400786856]
  State-Space Models (SSM) は、長年のトランスフォーマーアーキテクチャに代わる強力で効率的な代替品として最近登場した。 多次元の定式化から始めて、現代の選択的状態空間技術を再導出する。 Mamba2Dは、ImageNet-1Kデータセットを用いた標準的な画像分類評価において、視覚タスクに対するSSMの事前適応と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-12-20T18:50:36Z)
• Spatial-Mamba: Effective Visual State Space Models via Structure-Aware State Fusion [46.82975707531064]
  SSM(Selective State Space Model)は、1Dシーケンシャルデータにおける長距離依存関係のキャプチャに優れる。 本研究では,地域間直接接続を実現する新しいアプローチであるSpatial-Mambaを提案する。 画像分類,検出,セグメンテーションにおいて,空間マンバは,単一のスキャンであっても,最先端のSSMベースのモデルを達成したり,超えたりしていることを示す。
  論文  参考訳（メタデータ） (2024-10-19T12:56:58Z)
• V2M: Visual 2-Dimensional Mamba for Image Representation Learning [68.51380287151927]
  Mambaは、フレキシブルな設計と、1Dシーケンスを処理するための効率的なハードウェア性能のために、広く注目を集めている。 最近の研究では、マンバを2D画像をパッチに平らにすることで視覚領域に適用し、それらを1Dシークエンスとして扱うことが試みられている。 2次元空間における画像トークンを直接処理する完全解として,視覚的2次元マンバモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T11:11:06Z)
• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• PlainMamba: Improving Non-Hierarchical Mamba in Visual Recognition [21.761988930589727]
  PlainMambaは、一般的な視覚認識のために設計された単純な非階層的状態空間モデル(SSM)である。 我々は,マンバの選択的走査過程を視覚領域に適応させ,二次元画像から特徴を学習する能力を高める。 私たちのアーキテクチャは、同一のPlainMambaブロックを積み重ねることで、使いやすく、拡張しやすいように設計されています。
  論文  参考訳（メタデータ） (2024-03-26T13:35:10Z)
• VMamba: Visual State Space Model [98.0517369083152]
  状態空間言語モデルであるMambaを、線形時間複雑性を持つビジョンバックボーンであるVMambaに適合させる。 VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
  論文  参考訳（メタデータ） (2024-01-18T17:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。