論文の概要: DAMamba: Vision State Space Model with Dynamic Adaptive Scan

• arxiv url: http://arxiv.org/abs/2502.12627v1
• Date: Tue, 18 Feb 2025 08:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:07:02.935703
• Title: DAMamba: Vision State Space Model with Dynamic Adaptive Scan
• Title（参考訳）: DAMamba:動的適応走査による視覚状態空間モデル
• Authors: Tanzhe Li, Caoshuo Li, Jiayi Lyu, Hongjuan Pei, Baochang Zhang, Taisong Jin, Rongrong Ji,
• Abstract要約: 状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。 スキャン順序と領域を適応的に割り当てるデータ駆動型動的適応スキャン(DAS)を提案する。 DASをベースとしたビジョンバックボーンDAMambaの提案は,現在のビジョンタスクにおけるMambaモデルよりもはるかに優れている。
• 参考スコア（独自算出の注目度）: 51.81060691414399
• License:
• Abstract: State space models (SSMs) have recently garnered significant attention in computer vision. However, due to the unique characteristics of image data, adapting SSMs from natural language processing to computer vision has not outperformed the state-of-the-art convolutional neural networks (CNNs) and Vision Transformers (ViTs). Existing vision SSMs primarily leverage manually designed scans to flatten image patches into sequences locally or globally. This approach disrupts the original semantic spatial adjacency of the image and lacks flexibility, making it difficult to capture complex image structures. To address this limitation, we propose Dynamic Adaptive Scan (DAS), a data-driven method that adaptively allocates scanning orders and regions. This enables more flexible modeling capabilities while maintaining linear computational complexity and global modeling capacity. Based on DAS, we further propose the vision backbone DAMamba, which significantly outperforms current state-of-the-art vision Mamba models in vision tasks such as image classification, object detection, instance segmentation, and semantic segmentation. Notably, it surpasses some of the latest state-of-the-art CNNs and ViTs. Code will be available at https://github.com/ltzovo/DAMamba.
• Abstract（参考訳）: 状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。 しかし、画像データの特徴から、自然言語処理からコンピュータビジョンへのSSMの適用は、最先端の畳み込みニューラルネットワーク(CNN)やビジョントランスフォーマー(ViT)よりも優れていなかった。 既存のビジョンSSMは、主に手動で設計されたスキャンを利用して、画像パッチをローカルまたはグローバルなシーケンスにフラットにする。 このアプローチは、画像の本来の意味的空間的隣接性を破壊し、柔軟性に欠け、複雑な画像構造を捉えるのが難しくなる。 この制限に対処するために、スキャン順序と領域を適応的に割り当てるデータ駆動方式であるDynamic Adaptive Scan (DAS)を提案する。 これにより、線形計算複雑性とグローバルモデリング能力を維持しながら、より柔軟なモデリング機能を実現する。 DASに基づいて、画像分類、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションといったビジョンタスクにおいて、現在の最先端のビジョンMambaモデルよりもはるかに優れるビジョンバックボーンDAMambaを提案する。 特に、最新の最先端のCNNやViTを超越している。 コードはhttps://github.com/ltzovo/DAMamba.comから入手できる。

関連論文リスト

• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。 局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• RSMamba: Remote Sensing Image Classification with State Space Model [25.32283897448209]
  リモートセンシング画像分類のための新しいアーキテクチャであるRSMambaを紹介する。 RSMamba は State Space Model (SSM) をベースにしており、Mamba として知られる効率的なハードウェアを意識した設計を取り入れている。 非時間画像データのモデル化にマンバの容量を増大させる動的マルチパスアクティベーション機構を提案する。
  論文  参考訳（メタデータ） (2024-03-28T17:59:49Z)
• VmambaIR: Visual State Space Model for Image Restoration [36.11385876754612]
  VmambaIRは、画像復元タスクに線形に複雑な状態空間モデル(SSM)を導入する。 VmambaIRは、より少ない計算資源とパラメータで最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2024-03-18T02:38:55Z)
• LocalMamba: Visual State Space Model with Windowed Selective Scan [45.00004931200446]
  Vision Mamba (ViM) を強化する鍵は、シーケンスモデリングのためのスキャン方向を最適化することにある。 画像を異なるウィンドウに分割し、ローカル依存関係を効果的にキャプチャする新しいローカルスキャン戦略を導入する。 我々のモデルは、同じ1.5G FLOPでImageNetでVim-Tiを3.1%上回りました。
  論文  参考訳（メタデータ） (2024-03-14T12:32:40Z)
• nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark Detection with State Space Model [24.955052600683423]
  本稿では、CNNの強みとステートスペースシーケンスモデル(SSM)の高度な長距離モデリング機能を統合する新しいアーキテクチャであるnnMambaを紹介する。 6つのデータセットの実験では、3D画像のセグメンテーション、分類、ランドマーク検出など、一連の困難なタスクにおいて、nnMambaが最先端のメソッドよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-05T21:28:47Z)
• VM-UNet: Vision Mamba UNet for Medical Image Segmentation [2.3876474175791302]
  医用画像セグメンテーションのためのU字型アーキテクチャモデルVision Mamba UNet(VM-UNet)を提案する。 我々はISIC17,ISIC18,Synapseデータセットの総合的な実験を行い,VM-UNetが医用画像分割タスクにおいて競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2024-02-04T13:37:21Z)
• VMamba: Visual State Space Model [98.0517369083152]
  状態空間言語モデルであるMambaを、線形時間複雑性を持つビジョンバックボーンであるVMambaに適合させる。 VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
  論文  参考訳（メタデータ） (2024-01-18T17:55:39Z)
• Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model [48.233300343211205]
  We propose a new generic vision backbone with bidirectional Mamba block (Vim)。 Vimは画像列を位置埋め込みでマークし、視覚表現を双方向の状態空間モデルで圧縮する。 その結果,高解像度画像に対するTransformerスタイルの理解において,Vimは計算とメモリの制約を克服できることがわかった。
  論文  参考訳（メタデータ） (2024-01-17T18:56:18Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。