論文の概要: EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba
- arxiv url: http://arxiv.org/abs/2403.09977v1
- Date: Fri, 15 Mar 2024 02:48:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 18:48:40.203851
- Title: EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba
- Title(参考訳): EfficientVMamba:軽量ビジュアルマンバのためのアトラス選択スキャン
- Authors: Xiaohuan Pei, Tao Huang, Chang Xu,
- Abstract要約: 本研究は、軽量モデル設計における視覚状態空間モデルの可能性を探究し、EfficientVMambaと呼ばれる新しい効率的なモデル変種を導入することを提案する。
我々のEfficientVMambaは、グローバルおよびローカルの両方の表現機能を利用するように設計されたビルディングブロックを構成する効率的なスキップサンプリングにより、アトラスベースの選択的スキャン手法を統合する。
実験の結果,EfficientVMambaは計算複雑性を縮小し,様々な視覚タスクの競合結果が得られることがわかった。
- 参考スコア(独自算出の注目度): 19.062950348441426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands $\mathcal{O}(N^2)$. This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to $\mathcal{O}(N)$. Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with $1.3$G FLOPs improves Vim-Ti with $1.5$G FLOPs by a large margin of $5.6\%$ accuracy on ImageNet. Code is available at: \url{https://github.com/TerryPei/EfficientVMamba}.
- Abstract(参考訳): 当初、CNNとトランスフォーマーをベースとしたデザインを中心に軽量モデルの開発に取り組んでいたが、難題に直面した。
CNNは局所的な特徴抽出妥協の解決に有効であり、Transformerはグローバルリーチを提供するが、計算要求をエスカレートする$\mathcal{O}(N^2)$。
この精度と効率の間の継続的なトレードオフは、依然として大きなハードルである。
近年、Mambaのような状態空間モデル(SSM)は、言語モデリングやコンピュータビジョンといった様々なタスクにおいて優れた性能と競争力を示し、グローバル情報抽出の時間的複雑さを$\mathcal{O}(N)$に下げている。
そこで本研究では,軽量モデル設計における視覚状態空間モデルの可能性を探究し,EfficientVMambaと呼ばれる新しいモデルバリアントを導入することを提案する。
具体的には,グローバルおよびローカルの両方の表現機能を利用するように設計されたビルディングブロックを構成する,効率的なスキップサンプリングによって,アトラスに基づく選択的スキャン手法を統合する。
さらに、SSMブロックと畳み込みの統合について検討し、より効率的な視覚状態空間ブロックと追加の畳み込み分岐を導入し、モデル性能をさらに高める。
実験の結果,EfficientVMambaは計算複雑性を縮小し,様々な視覚タスクの競合結果が得られることがわかった。
例えば、1.3ドルのFLOPを持つEfficientVMamba-Sは、ImageNetで5.6\%の精度で1.5ドルのFLOPでVim-Tiを改善した。
コードは以下の通り: \url{https://github.com/TerryPei/EfficientVMamba}。
関連論文リスト
- Mamba3D: Enhancing Local Features for 3D Point Cloud Analysis via State Space Model [18.30032389736101]
状態空間モデル(SSM)に基づくMambaモデルは、線形複雑性のみを持つ複数の領域でTransformerより優れている。
我々は,局所的特徴抽出を強化するために,ポイントクラウド学習に適した状態空間モデルであるMamba3Dを提案する。
論文 参考訳(メタデータ) (2024-04-23T12:20:27Z) - SPMamba: State-space model is all you need in speech separation [6.590157910988076]
状態空間モデルを用いた音声分離のためのネットワークアーキテクチャを提案する。
我々はTF-GridNetモデルを基本フレームワークとして採用し、Transformerコンポーネントを双方向のMambaモジュールで置き換える。
実験の結果,マンバモデルの性能面において重要な役割を担っていることが明らかとなった。
論文 参考訳(メタデータ) (2024-04-02T16:04:31Z) - Cobra: Extending Mamba to Multi-Modal Large Language Model for Efficient Inference [38.777236272048874]
線形計算複雑性マルチモーダル言語モデル(MLLM)であるCobraを提案する。
特に、Cobraは効率的なMamba言語モデルを視覚的モダリティに統合する。
プロジェクトページは、https://sites.google.com/view/cobravlm.com/com/com/cobravlm.comで公開されている。
論文 参考訳(メタデータ) (2024-03-21T16:17:57Z) - MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection [73.06596715100859]
基本モデルの開発により、赤外線小目標検出(ISTD)は大きな進歩を遂げた。
効率的なISTDのためのMamba-in-Mamba (MiM-ISTD) 構造を調整する。
NUAA-SIRSTとIRSTD-1kを用いた実験により,本手法の精度と効率が向上した。
論文 参考訳(メタデータ) (2024-03-04T15:57:29Z) - VMamba: Visual State Space Model [92.83984290020891]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、視覚表現学習のバックボーンネットワークとして長い間主流であった。
本稿では,ViTsの有利な特徴を維持しつつ,計算複雑性を線形化することを目的とした汎用視覚バックボーンモデルであるVMambaを提案する。
視覚データ処理におけるVMambaの適応性を高めるため,グローバルな受容場を持つ2次元画像空間における1次元選択的走査を可能にするCSM(Cross-Scan Module)を導入する。
論文 参考訳(メタデータ) (2024-01-18T17:55:39Z) - DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition [62.95223898214866]
我々は,視覚変換器の有効性を探究し,参加する受容領域の計算複雑性とサイズとのトレードオフを追求する。
ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。
実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
論文 参考訳(メタデータ) (2023-02-03T14:59:31Z) - Dynamic Spatial Sparsification for Efficient Vision Transformers and
Convolutional Neural Networks [88.77951448313486]
視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。
本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。
提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
論文 参考訳(メタデータ) (2022-07-04T17:00:51Z) - PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。
最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文 参考訳(メタデータ) (2021-09-15T01:10:30Z) - FastSal: a Computationally Efficient Network for Visual Saliency
Prediction [7.742198347952173]
我々は、MobileNetV2が視覚的サリエンシモデルに優れたバックボーンを作り、複雑なデコーダを使わずに有効であることを示す。
また,DeepGaze IIのような計算コストの高いモデルからの知識伝達は,ラベルのないデータセットを擬似ラベリングすることで実現できることを示す。
論文 参考訳(メタデータ) (2020-08-25T16:32:33Z) - Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。
我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-03-12T07:00:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。