論文の概要: LocalMamba: Visual State Space Model with Windowed Selective Scan

• arxiv url: http://arxiv.org/abs/2403.09338v1
• Date: Thu, 14 Mar 2024 12:32:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 20:37:19.043282
• Title: LocalMamba: Visual State Space Model with Windowed Selective Scan
• Title（参考訳）: LocalMamba: ウィンドウ選択スキャンを備えたビジュアルステートスペースモデル
• Authors: Tao Huang, Xiaohuan Pei, Shan You, Fei Wang, Chen Qian, Chang Xu,
• Abstract要約: Vision Mamba (ViM) を強化する鍵は、シーケンスモデリングのためのスキャン方向を最適化することにある。 画像を異なるウィンドウに分割し、ローカル依存関係を効果的にキャプチャする新しいローカルスキャン戦略を導入する。 我々のモデルは、同じ1.5G FLOPでImageNetでVim-Tiを3.1%上回りました。
• 参考スコア（独自算出の注目度）: 45.00004931200446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in state space models, notably Mamba, have demonstrated significant progress in modeling long sequences for tasks like language understanding. Yet, their application in vision tasks has not markedly surpassed the performance of traditional Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs). This paper posits that the key to enhancing Vision Mamba (ViM) lies in optimizing scan directions for sequence modeling. Traditional ViM approaches, which flatten spatial tokens, overlook the preservation of local 2D dependencies, thereby elongating the distance between adjacent tokens. We introduce a novel local scanning strategy that divides images into distinct windows, effectively capturing local dependencies while maintaining a global perspective. Additionally, acknowledging the varying preferences for scan patterns across different network layers, we propose a dynamic method to independently search for the optimal scan choices for each layer, substantially improving performance. Extensive experiments across both plain and hierarchical models underscore our approach's superiority in effectively capturing image representations. For example, our model significantly outperforms Vim-Ti by 3.1% on ImageNet with the same 1.5G FLOPs. Code is available at: https://github.com/hunto/LocalMamba.
• Abstract（参考訳）: 状態空間モデル(特にマンバ)の最近の進歩は、言語理解のようなタスクのための長いシーケンスのモデリングにおいて大きな進歩を見せている。 しかし、ビジョンタスクにおけるそれらの応用は、従来の畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)のパフォーマンスを著しく上回っていない。 本稿では、ViM(Vision Mamba)を強化する鍵は、シーケンスモデリングにおけるスキャン方向の最適化にあると仮定する。 空間トークンを平らにする従来のViMアプローチは、局所的な2次元依存の保存を見落とし、隣接するトークン間の距離を延長する。 我々は,画像を異なるウィンドウに分割し,グローバルな視点を維持しながら,局所的な依存関係を効果的にキャプチャする,新しいローカルスキャン戦略を導入する。 さらに,異なるネットワーク層にまたがるスキャンパターンの様々な選好を認識し,各層に対して最適なスキャン選択を独立に探索し,性能を大幅に向上させる動的手法を提案する。 平面モデルと階層モデルの両方にわたる大規模な実験は、画像表現を効果的に捉える上で、我々のアプローチの優位性を示している。 例えば、私たちのモデルは、同じ1.5GのFLOPでImageNetでVim-Tiを3.1%上回ります。 コードは、https://github.com/hunto/LocalMamba.comで入手できる。

関連論文リスト

• DAMamba: Vision State Space Model with Dynamic Adaptive Scan [51.81060691414399]
  状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。 スキャン順序と領域を適応的に割り当てるデータ駆動型動的適応スキャン(DAS)を提案する。 DASをベースとしたビジョンバックボーンDAMambaの提案は,現在のビジョンタスクにおけるMambaモデルよりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-02-18T08:12:47Z)
• Mamba2D: A Natively Multi-Dimensional State-Space Model for Vision Tasks [47.49096400786856]
  State-Space Models (SSM) は、長年のトランスフォーマーアーキテクチャに代わる強力で効率的な代替品として最近登場した。 多次元の定式化から始めて、現代の選択的状態空間技術を再導出する。 Mamba2Dは、ImageNet-1Kデータセットを用いた標準的な画像分類評価において、視覚タスクに対するSSMの事前適応と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-12-20T18:50:36Z)
• V2M: Visual 2-Dimensional Mamba for Image Representation Learning [68.51380287151927]
  Mambaは、フレキシブルな設計と、1Dシーケンスを処理するための効率的なハードウェア性能のために、広く注目を集めている。 最近の研究では、マンバを2D画像をパッチに平らにすることで視覚領域に適用し、それらを1Dシークエンスとして扱うことが試みられている。 2次元空間における画像トークンを直接処理する完全解として,視覚的2次元マンバモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T11:11:06Z)
• QuadMamba: Learning Quadtree-based Selective Scan for Visual State Space Model [16.01259690063522]
  QuadMambaと呼ばれる新しいビジョンMambaモデルは、クアッドツリーベースのイメージパーティションとスキャンを通じて、さまざまな粒度のローカル依存関係をキャプチャする。 QuadMambaは、画像分類、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションなど、さまざまなビジョンタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-09T12:03:50Z)
• Vim-F: Visual State Space Model Benefiting from Learning in the Frequency Domain [9.84444689612074]
  Mambaディープラーニングモデルとして知られる、効率的なハードウェア対応設計のステートスペースモデル(SSM)は、長いシーケンスのモデリングにおいて大きな進歩を遂げた。 周波数領域と空間領域の両方で純粋なマンバエンコーダとスキャンを利用するVim-Fと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-29T01:01:19Z)
• PlainMamba: Improving Non-Hierarchical Mamba in Visual Recognition [21.761988930589727]
  PlainMambaは、一般的な視覚認識のために設計された単純な非階層的状態空間モデル(SSM)である。 我々は,マンバの選択的走査過程を視覚領域に適応させ,二次元画像から特徴を学習する能力を高める。 私たちのアーキテクチャは、同一のPlainMambaブロックを積み重ねることで、使いやすく、拡張しやすいように設計されています。
  論文  参考訳（メタデータ） (2024-03-26T13:35:10Z)
• VMamba: Visual State Space Model [98.0517369083152]
  状態空間言語モデルであるMambaを、線形時間複雑性を持つビジョンバックボーンであるVMambaに適合させる。 VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
  論文  参考訳（メタデータ） (2024-01-18T17:55:39Z)
• Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model [48.233300343211205]
  We propose a new generic vision backbone with bidirectional Mamba block (Vim)。 Vimは画像列を位置埋め込みでマークし、視覚表現を双方向の状態空間モデルで圧縮する。 その結果,高解像度画像に対するTransformerスタイルの理解において,Vimは計算とメモリの制約を克服できることがわかった。
  論文  参考訳（メタデータ） (2024-01-17T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。