論文の概要: VMambaCC: A Visual State Space Model for Crowd Counting
- arxiv url: http://arxiv.org/abs/2405.03978v1
- Date: Tue, 7 May 2024 03:30:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-08 15:28:42.119108
- Title: VMambaCC: A Visual State Space Model for Crowd Counting
- Title(参考訳): VMambaCC: クラウドカウントのためのビジュアルステートスペースモデル
- Authors: Hao-Yuan Ma, Li Zhang, Shuai Shi,
- Abstract要約: 本稿では,VMamba Crowd Counting(VMamba Crowd Counting)モデルを提案する。
VMambaCCはVMambaの利点を継承する。
本稿では,ハイレベルセマンティック監視特徴ピラミッドネットワーク(HS2PFN)を提案し,低レベルセマンティック情報とハイレベルセマンティック情報とを段階的に統合し,拡張する。
- 参考スコア(独自算出の注目度): 3.688427498755018
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: As a deep learning model, Visual Mamba (VMamba) has a low computational complexity and a global receptive field, which has been successful applied to image classification and detection. To extend its applications, we apply VMamba to crowd counting and propose a novel VMambaCC (VMamba Crowd Counting) model. Naturally, VMambaCC inherits the merits of VMamba, or global modeling for images and low computational cost. Additionally, we design a Multi-head High-level Feature (MHF) attention mechanism for VMambaCC. MHF is a new attention mechanism that leverages high-level semantic features to augment low-level semantic features, thereby enhancing spatial feature representation with greater precision. Building upon MHF, we further present a High-level Semantic Supervised Feature Pyramid Network (HS2PFN) that progressively integrates and enhances high-level semantic information with low-level semantic information. Extensive experimental results on five public datasets validate the efficacy of our approach. For example, our method achieves a mean absolute error of 51.87 and a mean squared error of 81.3 on the ShangHaiTech\_PartA dataset. Our code is coming soon.
- Abstract(参考訳): 深層学習モデルとして、Visual Mamba(VMamba)は計算複雑性が低く、大域的受容場を持ち、画像の分類と検出に成功している。
アプリケーションを拡張するために,VMambaをクラウドカウントに適用し,新しいVMambaCC(VMamba Crowd Counting)モデルを提案する。
当然、VMambaCCはVMambaの利点を継承する。
さらに,VMambaCCのためのマルチヘッドハイレベル特徴(MHF)アテンション機構を設計する。
MHFは、高レベルのセマンティックな特徴を活用して低レベルのセマンティックな特徴を増強し、より高精度な空間的特徴表現を向上する新しいアテンションメカニズムである。
MHF上に構築された高レベルセマンティック監視特徴ピラミッドネットワーク(HS2PFN)は,低レベルセマンティック情報と段階的に統合し,高レベルセマンティック情報を強化する。
5つの公開データセットの大規模な実験結果により,本手法の有効性が検証された。
例えば,ShangHaiTech\_PartAデータセットの平均絶対誤差は51.87であり,平均2乗誤差は81.3である。
私たちのコードはもうすぐ来る。
関連論文リスト
- DefMamba: Deformable Visual State Space Model [65.50381013020248]
我々はDefMambaと呼ばれる新しい視覚基盤モデルを提案する。
変形性スキャン(DS)戦略を組み合わせることで、画像構造を学習し、オブジェクトの細部の変化を検出する能力を大幅に向上する。
多くの実験により、DefMambaは様々な視覚的タスクで最先端のパフォーマンスを達成することが示されている。
論文 参考訳(メタデータ) (2025-04-08T08:22:54Z) - MambaHSI: Spatial-Spectral Mamba for Hyperspectral Image Classification [46.111607032455225]
本稿では,Mambaモデルに基づく新しいHSI分類モデル,MambaHSIを提案する。
具体的には,空間的マンバブロック(SpaMB)を設計し,画素レベルの画像全体の長距離相互作用をモデル化する。
スペクトルベクトルを複数のグループに分割し、異なるスペクトル群間の関係をマイニングし、スペクトル特徴を抽出するスペクトルマンバブロック(SpeMB)を提案する。
論文 参考訳(メタデータ) (2025-01-09T03:27:47Z) - Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。
本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
論文 参考訳(メタデータ) (2024-12-21T13:43:51Z) - Vision Mamba Distillation for Low-resolution Fine-grained Image Classification [11.636461046632183]
低解像度きめ細かい画像分類の有効性と効率を高めるために,Vision Mamba Distillation (ViMD) アプローチを提案する。
ViMDは、より少ないパラメータとFLOPで類似した手法より優れており、組み込みデバイスアプリケーションに適している。
論文 参考訳(メタデータ) (2024-11-27T01:29:44Z) - MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。
効率と性能のバランスをとるMobileMambaフレームワークを提案する。
MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
論文 参考訳(メタデータ) (2024-11-24T18:01:05Z) - HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。
これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。
本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。
また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
論文 参考訳(メタデータ) (2024-10-04T06:19:29Z) - Microscopic-Mamba: Revealing the Secrets of Microscopic Images with Just 4M Parameters [12.182070604073585]
CNNは、画像のセマンティック情報を完全に活用する能力を制限して、長距離依存のモデリングに苦労する。
変換器は二次計算の複雑さによって妨げられる。
本稿では,Mambaアーキテクチャに基づくモデルを提案する。
論文 参考訳(メタデータ) (2024-09-12T10:01:33Z) - Neural Architecture Search based Global-local Vision Mamba for Palm-Vein Recognition [42.4241558556591]
本稿では,画像の局所的相関と静脈特徴表現のためのトークン間のグローバル依存性を明示的に学習するための,GLVM(Global-local Vision Mamba)というハイブリッドネットワーク構造を提案する。
第3に,MHMambaブランチ(MHMamba),FIU(Feature Iteration Unit),CNN(Convolutional Neural Network)という3つのブランチからなるConvMambaブロックを提案する。
最後に,Global Local Alternate Neural Architecture Search (GLNAS)法を提案し,GLVMの最適アーキテクチャを進化的アルゴリズムと交互に探索する。
論文 参考訳(メタデータ) (2024-08-11T10:42:22Z) - LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。
このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。
ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
論文 参考訳(メタデータ) (2024-08-05T16:39:39Z) - HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。
さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
論文 参考訳(メタデータ) (2024-06-17T13:22:58Z) - AMMUNet: Multi-Scale Attention Map Merging for Remote Sensing Image Segmentation [4.618389486337933]
マルチスケールアテンションマップをマージするUNetベースのフレームワークであるAMMUNetを提案する。
提案するAMMMは,マルチスケールアテンションマップを固定マスクテンプレートを用いた統一表現に効果的に結合する。
提案手法は,Vayhingenデータセットでは75.48%,Potsdamデータセットでは77.90%という顕著な平均交叉(mIoU)を達成した。
論文 参考訳(メタデータ) (2024-04-20T15:23:15Z) - HSIMamba: Hyperpsectral Imaging Efficient Feature Learning with Bidirectional State Space for Classification [16.742768644585684]
HSIMambaは、双方向の逆畳み込みニューラルネットワークパスを使用して、スペクトル特徴をより効率的に抽出する新しいフレームワークである。
提案手法は,CNNの動作効率と,トランスフォーマに見られる注意機構の動的特徴抽出機能を組み合わせたものである。
このアプローチは、現在のベンチマークを超えて分類精度を改善し、トランスフォーマーのような高度なモデルで遭遇する計算の非効率性に対処する。
論文 参考訳(メタデータ) (2024-03-30T07:27:36Z) - RSMamba: Remote Sensing Image Classification with State Space Model [25.32283897448209]
リモートセンシング画像分類のための新しいアーキテクチャであるRSMambaを紹介する。
RSMamba は State Space Model (SSM) をベースにしており、Mamba として知られる効率的なハードウェアを意識した設計を取り入れている。
非時間画像データのモデル化にマンバの容量を増大させる動的マルチパスアクティベーション機構を提案する。
論文 参考訳(メタデータ) (2024-03-28T17:59:49Z) - MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection [72.46396769642787]
ネスト構造であるMamba-in-Mamba(MiM-ISTD)を開発した。
MiM-ISTDはSOTA法より8倍高速で、2048×2048$のイメージでテストすると、GPUメモリ使用率を62.2$%削減する。
論文 参考訳(メタデータ) (2024-03-04T15:57:29Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳(メタデータ) (2024-02-16T14:56:13Z) - Pink: Unveiling the Power of Referential Comprehension for Multi-modal
LLMs [49.88461345825586]
本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。
本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。
本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
論文 参考訳(メタデータ) (2023-10-01T05:53:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。