Fugu-MT 論文翻訳(概要): FusionSAM: Latent Space driven Segment Anything Model for Multimodal Fusion and Segmentation

論文の概要: FusionSAM: Latent Space driven Segment Anything Model for Multimodal Fusion and Segmentation

arxiv url: http://arxiv.org/abs/2408.13980v1
Date: Mon, 26 Aug 2024 02:20:55 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 15:12:30.844494
Title: FusionSAM: Latent Space driven Segment Anything Model for Multimodal Fusion and Segmentation
Title（参考訳）: FusionSAM:マルチモーダル核融合とセグメンテーションのための潜在空間駆動セグメンテーションモデル
Authors: Daixun Li, Weiying Xie, Mingxiang Cao, Yunke Wang, Jiaqing Zhang, Yunsong Li, Leyuan Fang, Chang Xu,
Abstract要約: SAMをマルチモーダル画像セグメンテーションに初めて導入する。本稿では、SAMのマルチモーダル融合とセグメンテーション機能を強化するために、LSTG(Latent Space Token Generation)とFMP(Fusion Mask Prompting)モジュールを組み合わせた新しいフレームワークを提案する。
参考スコア（独自算出の注目度）: 37.74045675588487
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal image fusion and segmentation enhance scene understanding in autonomous driving by integrating data from various sensors. However, current models struggle to efficiently segment densely packed elements in such scenes, due to the absence of comprehensive fusion features that can guide mid-process fine-tuning and focus attention on relevant areas. The Segment Anything Model (SAM) has emerged as a transformative segmentation method. It provides more effective prompts through its flexible prompt encoder, compared to transformers lacking fine-tuned control. Nevertheless, SAM has not been extensively studied in the domain of multimodal fusion for natural images. In this paper, we introduce SAM into multimodal image segmentation for the first time, proposing a novel framework that combines Latent Space Token Generation (LSTG) and Fusion Mask Prompting (FMP) modules to enhance SAM's multimodal fusion and segmentation capabilities. Specifically, we first obtain latent space features of the two modalities through vector quantization and embed them into a cross-attention-based inter-domain fusion module to establish long-range dependencies between modalities. Then, we use these comprehensive fusion features as prompts to guide precise pixel-level segmentation. Extensive experiments on several public datasets demonstrate that the proposed method significantly outperforms SAM and SAM2 in multimodal autonomous driving scenarios, achieving at least 3.9$\%$ higher segmentation mIoU than the state-of-the-art approaches.
Abstract（参考訳）: マルチモーダル画像融合とセグメンテーションは、各種センサのデータを統合することにより、自律運転におけるシーン理解を促進する。しかし、現在のモデルでは、中間プロセスの微調整をガイドし、関連する領域に注意を集中できる包括的な融合機能が欠如しているため、そのようなシーンで密集した要素を効率的にセグメント化するのに苦労している。 Segment Anything Model (SAM) は変換セグメンテーション法として登場した。微調整された制御が欠けているトランスに比べて、フレキシブルプロンプトエンコーダによりより効果的なプロンプトを提供する。しかし、SAMは自然画像のマルチモーダル融合の分野では広く研究されていない。本稿では,SAMをマルチモーダル画像分割に初めて導入し,LSTG(Latent Space Token Generation)とFMP(Fusion Mask Prompting)モジュールを組み合わせた新しいフレームワークを提案する。具体的には、まずベクトル量子化により2つのモードの潜在空間特性を取得し、それらをクロスアテンションベースのドメイン間融合モジュールに埋め込んで、モダリティ間の長距離依存関係を確立する。次に、これらの総合融合機能をプロンプトとして使用し、正確なピクセルレベルのセグメンテーションを導出する。いくつかの公開データセットに対する大規模な実験により、提案手法は多モーダル自動運転シナリオにおいてSAMとSAM2を著しく上回り、最先端のアプローチよりも少なくとも3.9$\%$高いセグメンテーションmIoUを達成することが示された。

関連論文リスト

MANet: Fine-Tuning Segment Anything Model for Multimodal Remote Sensing Semantic Segmentation [8.443065903814821]
本研究では,マルチモーダルリモートセマンティックセマンティックセマンティックセグメンテーションのための新しいマルチモーダルアダプタベースネットワーク(MANet)を提案する。このアプローチのコアとなるのは、SAMのイメージエンコーダを微調整して、マルチモーダルデータに対するモデルの一般的な知識を効果的に活用するMultimodal Adapter(MMAdapter)の開発である。この研究は、マルチモーダル核融合のための新しいネットワークを導入するだけでなく、SAMのDSM(Digital Surface Model)データによる強力な一般化能力も初めて示した。
論文参考訳（メタデータ） (2024-10-15T00:52:16Z)
Adapting Segment Anything Model to Multi-modal Salient Object Detection with Semantic Feature Fusion Guidance [15.435695491233982]
マルチモーダル・サリアン・オブジェクト検出(SOD)のためのSegment Anything Model(SAM)の強力な特徴表現とゼロショット一般化能力を探求し活用するための新しいフレームワークを提案する。アンダーラインSAMとサブラインマンティックファウンダリナールファウンダリナールグダンクンダリナール(サマン)を併用して開発する。画像エンコーダでは,マルチモーダルSAMをマルチモーダル情報に適用するためのマルチモーダルアダプタが提案されている。
論文参考訳（メタデータ） (2024-08-27T13:47:31Z)
Segment Anything with Multiple Modalities [61.74214237816402]
我々は,異なるセンサスイートによる堅牢で拡張されたセグメンテーションのために,クロスモーダルおよびマルチモーダル処理をサポートするMM-SAMを開発した。 MM-SAMは、教師なしのクロスモーダル転送と弱い教師付きマルチモーダル融合という、2つの重要な設計を特徴としている。 1)単一モーダル処理のための多様な非RGBセンサへの適応,2)センサ融合によるマルチモーダルデータの相乗的処理,3)異なる下流タスクのためのマスクフリートレーニング,の3つの課題に対処する。
論文参考訳（メタデータ） (2024-08-17T03:45:40Z)
Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文参考訳（メタデータ） (2024-08-08T09:09:37Z)
Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation [66.15246197473897]
多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
論文参考訳（メタデータ） (2023-08-04T01:03:58Z)
Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文参考訳（メタデータ） (2023-07-10T17:59:40Z)
Learning Deep Multimodal Feature Representation with Asymmetric Multi-layer Fusion [63.72912507445662]
本稿では,マルチモーダルな特徴を複数の層に融合する,コンパクトで効果的なフレームワークを提案する。我々は、エンコーダ内のモダリティ固有のバッチ正規化層を単に維持するだけで、共有シングルネットワーク内でマルチモーダル機能を学習できることを検証する。次に,マルチモーダルな特徴を段階的に活用できる双方向多層融合方式を提案する。
論文参考訳（メタデータ） (2021-08-11T03:42:13Z)
CMF: Cascaded Multi-model Fusion for Referring Image Segmentation [24.942658173937563]
本稿では,自然言語表現によって記述された対象に対するセグメンテーションマスクの予測を目的とした画像セグメンテーション(RIS)の課題に対処する。本稿では,マルチモーダル・フュージョン (CMF) モジュールを提案する。 4つのベンチマークデータセットによる実験結果から,本手法は最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2021-06-16T08:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。