論文の概要: Remote Sensing Image Segmentation Using Vision Mamba and Multi-Scale Multi-Frequency Feature Fusion

• arxiv url: http://arxiv.org/abs/2410.05624v1
• Date: Tue, 8 Oct 2024 02:17:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 17:38:51.405553
• Title: Remote Sensing Image Segmentation Using Vision Mamba and Multi-Scale Multi-Frequency Feature Fusion
• Title（参考訳）: ビジョンマンバとマルチスケールマルチ周波数特徴融合を用いたリモートセンシング画像分割
• Authors: Yice Cao, Chenchen Liu, Zhenhua Wu, Wenxin Yao, Liu Xiong, Jie Chen, Zhixiang Huang,
• Abstract要約: 本稿では、状態空間モデル(SSM)を導入し、視覚マンバ(CVMH-UNet)に基づく新しいハイブリッドセマンティックセマンティックネットワークを提案する。 本手法は、クロス2Dスキャン(CS2D)を用いて、複数の方向からグローバル情報をフルにキャプチャする、クロス走査型視覚状態空間ブロック(CVSSBlock)を設計する。 ローカル情報取得におけるビジョン・マンバ(VMamba)の制約を克服するために畳み込みニューラルネットワークのブランチを組み込むことにより、このアプローチはグローバル機能とローカル機能の両方の包括的な分析を促進する。
• 参考スコア（独自算出の注目度）: 9.098711843118629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As remote sensing imaging technology continues to advance and evolve, processing high-resolution and diversified satellite imagery to improve segmentation accuracy and enhance interpretation efficiency emerg as a pivotal area of investigation within the realm of remote sensing. Although segmentation algorithms based on CNNs and Transformers achieve significant progress in performance, balancing segmentation accuracy and computational complexity remains challenging, limiting their wide application in practical tasks. To address this, this paper introduces state space model (SSM) and proposes a novel hybrid semantic segmentation network based on vision Mamba (CVMH-UNet). This method designs a cross-scanning visual state space block (CVSSBlock) that uses cross 2D scanning (CS2D) to fully capture global information from multiple directions, while by incorporating convolutional neural network branches to overcome the constraints of Vision Mamba (VMamba) in acquiring local information, this approach facilitates a comprehensive analysis of both global and local features. Furthermore, to address the issue of limited discriminative power and the difficulty in achieving detailed fusion with direct skip connections, a multi-frequency multi-scale feature fusion block (MFMSBlock) is designed. This module introduces multi-frequency information through 2D discrete cosine transform (2D DCT) to enhance information utilization and provides additional scale local detail information through point-wise convolution branches. Finally, it aggregates multi-scale information along the channel dimension, achieving refined feature fusion. Findings from experiments conducted on renowned datasets of remote sensing imagery demonstrate that proposed CVMH-UNet achieves superior segmentation performance while maintaining low computational complexity, outperforming surpassing current leading-edge segmentation algorithms.
• Abstract（参考訳）: リモートセンシング技術が進歩し進化を続けるにつれて、高解像度で多様化した衛星画像の処理により、セグメンテーション精度が向上し、リモートセンシングの領域における調査の重要領域としての解釈効率が向上する。 CNNとTransformerをベースとしたセグメンテーションアルゴリズムは性能が大幅に向上するが、セグメンテーションの精度と計算の複雑さのバランスをとることは依然として困難であり、実践的なタスクにおける幅広い応用を制限している。 そこで本稿では、状態空間モデル(SSM)を導入し、視覚マンバ(CVMH-UNet)に基づく新しいハイブリッドセマンティックセマンティックネットワークを提案する。 本手法は,地域情報取得におけるビジョン・マンバ(VMamba)の制約を克服するために,畳み込みニューラルネットワークのブランチを組み込んで,クロス2Dスキャン(CS2D)を用いて複数の方向からグローバル情報をフルに取得する,クロススキャン型ビジュアルステート・スペースブロック(CVSSBlock)を設計する。 さらに,識別能力の制限と直接スキップ接続による詳細融合の難しさに対処するため,マルチ周波数マルチスケール機能融合ブロック (MFMSBlock) を設計した。 本モジュールは2次元離散コサイン変換(2D DCT)による多周波情報を導入し,情報利用の促進と,ポイントワイド・コンボリューション・ブランチによる局所的詳細情報の追加を提供する。 最後に、チャネル次元に沿ってマルチスケール情報を集約し、洗練された特徴融合を実現する。 リモートセンシング画像の有名なデータセットで実施された実験から、提案されたCVMH-UNetは、計算複雑性を低く保ちながら、より優れたセグメンテーション性能を達成し、現在の最先端セグメンテーションアルゴリズムを上回る性能を発揮することを示した。

関連論文リスト

• Learning Accurate and Enriched Features for Stereo Image Super-Resolution [0.0]
  ステレオ画像超解像(ステレオSR)は、代替的な視点から補完情報を組み込むことで、超解像の質を高めることを目的としている。 我々は,空間的詳細を正確に保存し,豊富なコンテキスト情報を組み込むため,MSSFNet(Mixed-scale selective fusion Network)を提案する。 MSSFNetは、定量評価と定性評価の両方において最先端のアプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-23T03:34:17Z)
• Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
  Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。 既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。 これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。 一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-04-11T03:00:00Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Semantic Labeling of High Resolution Images Using EfficientUNets and Transformers [5.177947445379688]
  畳み込みニューラルネットワークとディープトランスを組み合わせた新しいセグメンテーションモデルを提案する。 提案手法は,最先端技術と比較してセグメント化精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-20T12:03:54Z)
• CSRNet: Cascaded Selective Resolution Network for Real-time Semantic Segmentation [18.63596070055678]
  本稿では,リアルタイムセグメンテーションの性能向上を図るために,光カスケード選択分解ネットワーク(CSRNet)を提案する。 提案するネットワークは,低解像度から高解像度までの特徴情報を統合した3段階セグメンテーションシステムを構築している。 2つのよく知られたデータセットの実験により、提案したCSRNetはリアルタイムセグメンテーションの性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2021-06-08T14:22:09Z)
• LocalTrans: A Multiscale Local Transformer Network for Cross-Resolution Homography Estimation [52.63874513999119]
  クロスレゾリューション画像アライメントは、マルチスケールギガ撮影において重要な問題である。 既存のディープ・ホモグラフィー手法は、それらの間の対応の明示的な定式化を無視し、クロスレゾリューションの課題において精度が低下する。 本稿では,マルチモーダル入力間の対応性を明確に学習するために,マルチスケール構造内に埋め込まれたローカルトランスフォーマーネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:51:45Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)
• X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data [69.37597254841052]
  我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。 X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。 我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
  論文  参考訳（メタデータ） (2020-06-24T15:29:41Z)
• Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution [82.1739023587565]
  ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。 提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。 各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
  論文  参考訳（メタデータ） (2020-01-14T03:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。