論文の概要: General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2307.03388v1
• Date: Fri, 7 Jul 2023 04:58:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:29:56.922394
• Title: General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation
• Title（参考訳）: リモートセンシングセマンティックセマンティックセグメンテーションを実現する汎用マルチモーダルトランス
• Authors: Nhi Kieu, Kien Nguyen, Sridha Sridharan, Clinton Fookes
• Abstract要約: マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
• 参考スコア（独自算出の注目度）: 35.100738362291416
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The advent of high-resolution multispectral/hyperspectral sensors, LiDAR DSM (Digital Surface Model) information and many others has provided us with an unprecedented wealth of data for Earth Observation. Multimodal AI seeks to exploit those complementary data sources, particularly for complex tasks like semantic segmentation. While specialized architectures have been developed, they are highly complicated via significant effort in model design, and require considerable re-engineering whenever a new modality emerges. Recent trends in general-purpose multimodal networks have shown great potential to achieve state-of-the-art performance across multiple multimodal tasks with one unified architecture. In this work, we investigate the performance of PerceiverIO, one in the general-purpose multimodal family, in the remote sensing semantic segmentation domain. Our experiments reveal that this ostensibly universal network struggles with object scale variation in remote sensing images and fails to detect the presence of cars from a top-down view. To address these issues, even with extreme class imbalance issues, we propose a spatial and volumetric learning component. Specifically, we design a UNet-inspired module that employs 3D convolution to encode vital local information and learn cross-modal features simultaneously, while reducing network computational burden via the cross-attention mechanism of PerceiverIO. The effectiveness of the proposed component is validated through extensive experiments comparing it with other methods such as 2D convolution, and dual local module (\ie the combination of Conv2D 1x1 and Conv2D 3x3 inspired by UNetFormer). The proposed method achieves competitive results with specialized architectures like UNetFormer and SwinUNet, showing its potential to minimize network architecture engineering with a minimal compromise on the performance.
• Abstract（参考訳）: 高分解能マルチスペクトル・ハイパースペクトルセンサ、lidar dsm(digital surface model)情報など多くの情報が登場し、地球観測のための前例のない豊富なデータを提供した。 マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、これらの補完的なデータソースを活用する。 特殊なアーキテクチャが開発されている一方で、モデル設計における多大な努力を通じて非常に複雑であり、新しいモダリティが生まれると、かなりの再設計が必要となる。 汎用マルチモーダルネットワークの最近のトレンドは、1つの統一アーキテクチャで複数のマルチモーダルタスクにまたがって最先端のパフォーマンスを実現する大きな可能性を示している。 本研究では,汎用マルチモーダルファミリに属するperceiverioのリモートセンシング意味セグメンテーション領域における性能について検討する。 実験の結果,この普遍ネットワークは,リモートセンシング画像におけるオブジェクトスケールの変動に苦しむとともに,トップダウンから車の存在を検知できないことが明らかとなった。 これらの問題に対処するために,極端なクラス不均衡問題であっても,空間的・ボリューム的学習要素を提案する。 具体的には、3D畳み込みを利用して重要なローカル情報をエンコードし、同時にクロスモーダルな特徴を学習するUNetを設計し、PerceiverIOのクロスアテンション機構によってネットワーク計算の負担を軽減する。 提案手法の有効性は,2次元畳み込み法や2次元局所モジュール(UNetFormerにインスパイアされたConv2D 1x1とConv2D 3x3の組み合わせ)との比較により検証した。 提案手法は, unetformer や swinunet のような特殊なアーキテクチャと競合し, ネットワークアーキテクチャ工学を最小化し, 性能の妥協を最小限に抑える可能性を示した。

関連論文リスト

• MANet: Fine-Tuning Segment Anything Model for Multimodal Remote Sensing Semantic Segmentation [8.443065903814821]
  本研究では,マルチモーダルリモートセマンティックセマンティックセマンティックセグメンテーションのための新しいマルチモーダルアダプタベースネットワーク(MANet)を提案する。 このアプローチのコアとなるのは、SAMのイメージエンコーダを微調整して、マルチモーダルデータに対するモデルの一般的な知識を効果的に活用するMultimodal Adapter(MMAdapter)の開発である。 この研究は、マルチモーダル核融合のための新しいネットワークを導入するだけでなく、SAMのDSM(Digital Surface Model)データによる強力な一般化能力も初めて示した。
  論文  参考訳（メタデータ） (2024-10-15T00:52:16Z)
• PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
  点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。 PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。 PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
  論文  参考訳（メタデータ） (2024-08-26T19:43:01Z)
• A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
  ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。 我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。 結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-23T11:14:54Z)
• RS-DFM: A Remote Sensing Distributed Foundation Model for Diverse Downstream Tasks [11.681342476516267]
  汎用情報マッピングとインタラクションに基づく分散センシング基礎モデル(RS-DFM)を提案する。 このモデルは、複数のプラットフォームにわたるオンライン協調認識と、さまざまな下流タスクを実現することができる。 本稿では、高周波・低周波特徴情報を分離するデュアルブランチ情報圧縮モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-11T07:46:47Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• ESDMR-Net: A Lightweight Network With Expand-Squeeze and Dual Multiscale Residual Connections for Medical Image Segmentation [7.921517156237902]
  本稿では,拡張型マルチスケール残差ネットワーク(ESDMR-Net)を提案する。 完全な畳み込みネットワークであり、モバイルデバイスのようなリソースに制約のあるコンピューティングハードウェアに適している。 5つの異なる応用例から7つのデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-12-17T02:15:49Z)
• Bilateral Network with Residual U-blocks and Dual-Guided Attention for Real-time Semantic Segmentation [18.393208069320362]
  注意計算によって導かれる2分岐アーキテクチャのための新しい融合機構を設計する。 正確には、DGA(Dual-Guided Attention)モジュールを使用して、いくつかのマルチスケール変換を置き換えることを提案した。 Cityscapes と CamVid のデータセットを用いた実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-31T09:20:59Z)
• Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
  本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。 提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T08:49:56Z)
• UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
  屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
  論文  参考訳（メタデータ） (2023-08-15T12:13:44Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。