論文の概要: Multi-Scale VMamba: Hierarchy in Hierarchy Visual State Space Model
- arxiv url: http://arxiv.org/abs/2405.14174v1
- Date: Thu, 23 May 2024 04:59:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 18:55:13.779768
- Title: Multi-Scale VMamba: Hierarchy in Hierarchy Visual State Space Model
- Title（参考訳）: マルチスケールVMamba:階層型ビジュアルステートスペースモデルにおける階層
- Authors: Yuheng Shi, Minjing Dong, Chang Xu,
- Abstract要約: 状態空間モデル(SSM)は、その大域的受容場と線形複雑性のために広く注目を集めている。
視覚タスクにおけるSSMの性能向上のために,マルチスキャン戦略が広く採用されている。
本稿では,MSVMamba(Multi-Scale Vision Mamba)を導入し,限られたパラメータを持つ視覚タスクにおけるSSMの優位性を維持する。
- 参考スコア（独自算出の注目度）: 26.786890883280062
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the significant achievements of Vision Transformers (ViTs) in various vision tasks, they are constrained by the quadratic complexity. Recently, State Space Models (SSMs) have garnered widespread attention due to their global receptive field and linear complexity with respect to the input length, demonstrating substantial potential across fields including natural language processing and computer vision. To improve the performance of SSMs in vision tasks, a multi-scan strategy is widely adopted, which leads to significant redundancy of SSMs. For a better trade-off between efficiency and performance, we analyze the underlying reasons behind the success of the multi-scan strategy, where long-range dependency plays an important role. Based on the analysis, we introduce Multi-Scale Vision Mamba (MSVMamba) to preserve the superiority of SSMs in vision tasks with limited parameters. It employs a multi-scale 2D scanning technique on both original and downsampled feature maps, which not only benefits long-range dependency learning but also reduces computational costs. Additionally, we integrate a Convolutional Feed-Forward Network (ConvFFN) to address the lack of channel mixing. Our experiments demonstrate that MSVMamba is highly competitive, with the MSVMamba-Tiny model achieving 82.8% top-1 accuracy on ImageNet, 46.9% box mAP, and 42.2% instance mAP with the Mask R-CNN framework, 1x training schedule on COCO, and 47.6% mIoU with single-scale testing on ADE20K.Code is available at \url{https://github.com/YuHengsss/MSVMamba}.
- Abstract（参考訳）: 視覚変換器(ViT)の様々な視覚タスクにおける重要な成果にもかかわらず、それらは二次的な複雑さによって制約される。
近年、状態空間モデル (SSM) は、その大域的受容領域と入力長に対する線形複雑度から広く注目を集めており、自然言語処理やコンピュータビジョンを含む分野にまたがる有意義な可能性を示している。
視覚タスクにおけるSSMの性能向上のために,マルチスキャン戦略が広く採用され,SSMの冗長性が著しく向上した。
効率性とパフォーマンスのトレードオフを改善するために、長距離依存性が重要な役割を果たすマルチスキャン戦略の成功の背景にある理由を分析します。
そこで本研究では,MSVMamba(Multi-Scale Vision Mamba)を導入し,限られたパラメータを持つ視覚タスクにおけるSSMの優位性を維持する。
オリジナルマップとダウンサンプルマップの両方にマルチスケールの2Dスキャン技術を採用しており、長距離依存学習だけでなく、計算コストの削減も図っている。
さらに、チャネル混合の欠如に対処するために、畳み込みフィードフォワードネットワーク(ConvFFN)を統合する。
実験の結果、MSVMambaは、ImageNetで82.8%、Msk R-CNNフレームワークで46.9%、COCOで1倍のトレーニングスケジュールで42.2%、ADE20Kでシングルスケールテストで47.6%のmOoUで、MSVMamba-Tinyモデルが82.8%、ImageNetで82.8%、ImageNetで46.9%、インスタンスmAPが42.2%、ADE20Kで47.6%が利用可能であることがわかった。
関連論文リスト
- Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。
ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。
大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文 参考訳（メタデータ） (2024-11-23T06:36:16Z) - Hi-Mamba: Hierarchical Mamba for Efficient Image Super-Resolution [42.259283231048954]
状態空間モデル(SSM)は、線形複雑性を伴う長距離依存性をモデル化する上で、強力な表現能力を示している。
画像超解像(SR)のための新しい階層型マンバネットワーク、すなわちHi-Mambaを提案する。
論文 参考訳（メタデータ） (2024-10-14T04:15:04Z) - HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。
これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。
本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。
また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
論文 参考訳（メタデータ） (2024-10-04T06:19:29Z) - MSVM-UNet: Multi-Scale Vision Mamba UNet for Medical Image Segmentation [3.64388407705261]
医用画像分割のためのマルチスケールビジョンマンバUNetモデルMSVM-UNetを提案する。
具体的には、VSSブロックにマルチスケールの畳み込みを導入することで、VMambaエンコーダの階層的特徴から、より効果的にマルチスケールの特徴表現をキャプチャし、集約することができる。
論文 参考訳（メタデータ） (2024-08-25T06:20:28Z) - GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。
しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。
本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
論文 参考訳（メタデータ） (2024-07-18T17:59:58Z) - DVMSR: Distillated Vision Mamba for Efficient Super-Resolution [7.551130027327461]
本研究では,ビジョン・マンバと蒸留戦略を組み込んだ新しい軽量画像SRネットワークであるDVMSRを提案する。
提案したDVMSRは,モデルパラメータの観点から,最先端の効率的なSR手法より優れている。
論文 参考訳（メタデータ） (2024-05-05T17:34:38Z) - VMamba: Visual State Space Model [92.83984290020891]
VMambaは、線形時間複雑性で動作するビジョンバックボーンである。
VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
論文 参考訳（メタデータ） (2024-01-18T17:55:39Z) - Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。
2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。
また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
論文 参考訳（メタデータ） (2023-12-19T18:53:01Z) - Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。
トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。
われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
論文 参考訳（メタデータ） (2021-11-23T11:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。