論文の概要: MHS-VM: Multi-Head Scanning in Parallel Subspaces for Vision Mamba

• arxiv url: http://arxiv.org/abs/2406.05992v1
• Date: Mon, 10 Jun 2024 03:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 15:06:21.970822
• Title: MHS-VM: Multi-Head Scanning in Parallel Subspaces for Vision Mamba
• Title（参考訳）: MHS-VM:Vision Mambaの並列サブスペースにおけるマルチヘッドスキャン
• Authors: Zhongping Ji,
• Abstract要約: Mambaとのステートスペースモデル(SSM)は、線形複雑性を伴う長距離依存性モデリングを大いに約束している。 1次元選択的スキャンにより2次元画像空間内の視覚的特徴を効果的に整理・構築するために,新しいマルチヘッドスキャン(MHS)モジュールを提案する。 その結果、マルチヘッドスキャンプロセスから得られたサブ埋め込みは統合され、最終的に高次元空間に投影される。
• 参考スコア（独自算出の注目度）: 0.43512163406552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, State Space Models (SSMs), with Mamba as a prime example, have shown great promise for long-range dependency modeling with linear complexity. Then, Vision Mamba and the subsequent architectures are presented successively, and they perform well on visual tasks. The crucial step of applying Mamba to visual tasks is to construct 2D visual features in sequential manners. To effectively organize and construct visual features within the 2D image space through 1D selective scan, we propose a novel Multi-Head Scan (MHS) module. The embeddings extracted from the preceding layer are projected into multiple lower-dimensional subspaces. Subsequently, within each subspace, the selective scan is performed along distinct scan routes. The resulting sub-embeddings, obtained from the multi-head scan process, are then integrated and ultimately projected back into the high-dimensional space. Moreover, we incorporate a Scan Route Attention (SRA) mechanism to enhance the module's capability to discern complex structures. To validate the efficacy of our module, we exclusively substitute the 2D-Selective-Scan (SS2D) block in VM-UNet with our proposed module, and we train our models from scratch without using any pre-trained weights. The results indicate a significant improvement in performance while reducing the parameters of the original VM-UNet. The code for this study is publicly available at https://github.com/PixDeep/MHS-VM.
• Abstract（参考訳）: 近年,Mambaを主例とする状態空間モデル (SSM) は,線形複雑性を伴う長距離依存性モデリングにおいて大きな期待を抱いている。 そして、Vision Mambaとその後のアーキテクチャを順次提示し、視覚的なタスクでうまく機能する。 Mambaを視覚タスクに適用する重要なステップは、2次元視覚的特徴を逐次的に構築することだ。 1次元選択的スキャンにより2次元画像空間内の視覚的特徴を効果的に整理・構築するために,新しいマルチヘッドスキャン(MHS)モジュールを提案する。 前層から抽出した埋め込みは、複数の低次元部分空間に投影される。 その後、各部分空間内で、選択走査が異なるスキャン経路に沿って実行される。 その結果、マルチヘッドスキャンプロセスから得られたサブ埋め込みは統合され、最終的に高次元空間に投影される。 さらに,SRA(Scan Route Attention)機構を導入し,複雑な構造を識別するモジュールの能力を高める。 モジュールの有効性を検証するため,VM-UNet の 2D-Selective-Scan (SS2D) ブロックを提案モジュールに置き換えた。 結果は、元のVM-UNetのパラメータを減らしながら、パフォーマンスが大幅に向上したことを示している。 この研究のコードはhttps://github.com/PixDeep/MHS-VMで公開されている。

関連論文リスト

• GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
  状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。 しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。 本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:58Z)
• S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification [47.32349241618756]
  ハイパースペクトル画像(HSI)を用いた土地被覆解析は、空間分解能の低さと複雑なスペクトル情報のため、未解決の課題である。 ハイパースペクトル画像分類のための空間スペクトル状態空間モデルであるS$2$Mambaを提案する。
  論文  参考訳（メタデータ） (2024-04-28T15:12:56Z)
• VMambaMorph: a Multi-Modality Deformable Image Registration Framework based on Visual State Space Model with Cross-Scan Module [19.5487294104318]
  本稿では,VMambaMorphという画像登録機能を備えたVMambaの探索について紹介する。 新たなハイブリッドVMamba-CNNネットワークは、3D画像登録用に特別に設計されている。 我々は,VMambaMorphを公開ベンチマーク脳MR-CT登録データセットを用いて検証し,その性能を現在の最先端手法と比較した。
  論文  参考訳（メタデータ） (2024-04-07T23:10:26Z)
• PlainMamba: Improving Non-Hierarchical Mamba in Visual Recognition [21.761988930589727]
  PlainMambaは、一般的な視覚認識のために設計された単純な非階層的状態空間モデル(SSM)である。 我々は,マンバの選択的走査過程を視覚領域に適応させ,二次元画像から特徴を学習する能力を高める。 私たちのアーキテクチャは、同一のPlainMambaブロックを積み重ねることで、使いやすく、拡張しやすいように設計されています。
  論文  参考訳（メタデータ） (2024-03-26T13:35:10Z)
• LocalMamba: Visual State Space Model with Windowed Selective Scan [45.00004931200446]
  Vision Mamba (ViM) を強化する鍵は、シーケンスモデリングのためのスキャン方向を最適化することにある。 画像を異なるウィンドウに分割し、ローカル依存関係を効果的にキャプチャする新しいローカルスキャン戦略を導入する。 我々のモデルは、同じ1.5G FLOPでImageNetでVim-Tiを3.1%上回りました。
  論文  参考訳（メタデータ） (2024-03-14T12:32:40Z)
• The Hidden Attention of Mamba Models [54.50526986788175]
  Mamba層は、複数のドメインをモデリングするのに非常に効果的である効率的な選択状態空間モデル(SSM)を提供する。 このようなモデルを注意駆動モデルとみなすことができる。 この新たな視点は、トランスの自己保持層のメカニズムを経験的かつ理論的に比較することを可能にする。
  論文  参考訳（メタデータ） (2024-03-03T18:58:21Z)
• VMamba: Visual State Space Model [92.83984290020891]
  VMambaは、線形時間複雑性で動作するビジョンバックボーンである。 VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
  論文  参考訳（メタデータ） (2024-01-18T17:55:39Z)
• Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model [51.10876815815515]
  We propose a new generic vision backbone with bidirectional Mamba block (Vim)。 Vimは画像列を位置埋め込みでマークし、視覚表現を双方向の状態空間モデルで圧縮する。 その結果,高解像度画像に対するTransformerスタイルの理解において,Vimは計算とメモリの制約を克服できることがわかった。
  論文  参考訳（メタデータ） (2024-01-17T18:56:18Z)
• MarS3D: A Plug-and-Play Motion-Aware Model for Semantic Segmentation on Multi-Scan 3D Point Clouds [25.74458809877035]
  マルチスキャン大規模クラウド上の3次元セマンティックセマンティックセマンティクスは、自律システムにおいて重要な役割を果たす。 マルチスキャン3Dポイントクラウド上でのセマンティックセグメンテーションのためのプラグイン・アンド・プレイ・モーション・アウェア・モジュールであるMarS3Dを提案する。
  論文  参考訳（メタデータ） (2023-07-18T14:59:19Z)
• Multi-level Second-order Few-shot Learning [111.0648869396828]
  教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。 我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。 我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
  論文  参考訳（メタデータ） (2022-01-15T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。