論文の概要: Customize Segment Anything Model for Multi-Modal Semantic Segmentation with Mixture of LoRA Experts

• arxiv url: http://arxiv.org/abs/2412.04220v1
• Date: Thu, 05 Dec 2024 14:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:18.077671
• Title: Customize Segment Anything Model for Multi-Modal Semantic Segmentation with Mixture of LoRA Experts
• Title（参考訳）: LoRAエキスパートの混在を考慮したマルチモーダルセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックセマンティックモデルのカスタマイズ
• Authors: Chenyang Zhu, Bin Xiao, Lin Shi, Shoukun Xu, Xu Zheng,
• Abstract要約: マルチモーダルなセマンティックセマンティックセマンティクスにセマンティクスモデル(SAM)を適用するための最初の試みを行う。 SAMの重量を凍結させながらMoE-LoRA層のみをトレーニングすることにより、SAMの強力な一般化とセグメンテーション能力は下流タスクに保存できる。 具体的には、モーダル間の不整合に対処するために、モーダル間の重み付き特徴を適応的に生成する新しいMoEルーティング戦略を提案する。
• 参考スコア（独自算出の注目度）: 17.6980007370549
• License:
• Abstract: The recent Segment Anything Model (SAM) represents a significant breakthrough in scaling segmentation models, delivering strong performance across various downstream applications in the RGB modality. However, directly applying SAM to emerging visual modalities, such as depth and event data results in suboptimal performance in multi-modal segmentation tasks. In this paper, we make the first attempt to adapt SAM for multi-modal semantic segmentation by proposing a Mixture of Low-Rank Adaptation Experts (MoE-LoRA) tailored for different input visual modalities. By training only the MoE-LoRA layers while keeping SAM's weights frozen, SAM's strong generalization and segmentation capabilities can be preserved for downstream tasks. Specifically, to address cross-modal inconsistencies, we propose a novel MoE routing strategy that adaptively generates weighted features across modalities, enhancing multi-modal feature integration. Additionally, we incorporate multi-scale feature extraction and fusion by adapting SAM's segmentation head and introducing an auxiliary segmentation head to combine multi-scale features for improved segmentation performance effectively. Extensive experiments were conducted on three multi-modal benchmarks: DELIVER, MUSES, and MCubeS. The results consistently demonstrate that the proposed method significantly outperforms state-of-the-art approaches across diverse scenarios. Notably, under the particularly challenging condition of missing modalities, our approach exhibits a substantial performance gain, achieving an improvement of 32.15% compared to existing methods.
• Abstract（参考訳）: 最近のSegment Anything Model(SAM)はセグメンテーションモデルをスケールする上で大きなブレークスルーであり、RGBモダリティにおいて、さまざまなダウンストリームアプリケーションに強力なパフォーマンスを提供する。 しかし、SAMを深度やイベントデータといった新たな視覚的モダリティに直接適用すると、マルチモーダルセグメンテーションタスクにおいて、最適以下のパフォーマンスが得られる。 本稿では,多モードセマンティックセマンティックセマンティクスにSAMを適応させる試みとして,入力の視覚的特徴に合わせた低ランク適応エキスパート(MoE-LoRA)の混合を提案する。 SAMの重量を凍結させながらMoE-LoRA層のみをトレーニングすることにより、SAMの強力な一般化とセグメンテーション能力は下流タスクに保存できる。 具体的には、モーダル間の不整合に対処するため、モーダル間の重み付き特徴を適応的に生成し、マルチモーダル特徴統合を向上する新しいMoEルーティング戦略を提案する。 さらに、SAMのセグメンテーションヘッドを適応させ、補助セグメンテーションヘッドを導入することで、マルチスケールの特徴抽出と融合を組み込んで、セグメンテーション性能を効果的に向上させる。 DELIVER(英語版)、MUSES(英語版)、MCubeS(英語版)の3つのマルチモーダル・ベンチマークで大規模な実験を行った。 その結果,提案手法は多種多様なシナリオにおける最先端手法を著しく上回っていることがわかった。 特に,モダリティの欠如が特に困難な条件下では,既存手法に比べて32.15%向上し,大幅な性能向上を実現している。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• On Efficient Variants of Segment Anything Model: A Survey [63.127753705046]
  Segment Anything Model (SAM) は画像分割タスクの基本モデルであり、多様なアプリケーションにまたがる強力な一般化で知られている。 これを解決するために、精度を保ちながら効率を高めるために様々なSAM変種が提案されている。 この調査は、これらの効率的なSAM変種に関する最初の包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-10-07T11:59:54Z)
• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• Adapting Segment Anything Model to Multi-modal Salient Object Detection with Semantic Feature Fusion Guidance [15.435695491233982]
  マルチモーダル・サリアン・オブジェクト検出(SOD)のためのSegment Anything Model(SAM)の強力な特徴表現とゼロショット一般化能力を探求し活用するための新しいフレームワークを提案する。 アンダーラインSAMとサブラインマンティックファウンダリナールファウンダリナールグダンクンダリナール(サマン)を併用して開発する。 画像エンコーダでは,マルチモーダルSAMをマルチモーダル情報に適用するためのマルチモーダルアダプタが提案されている。
  論文  参考訳（メタデータ） (2024-08-27T13:47:31Z)
• FusionSAM: Latent Space driven Segment Anything Model for Multimodal Fusion and Segmentation [37.74045675588487]
  SAMをマルチモーダル画像セグメンテーションに初めて導入する。 本稿では、SAMのマルチモーダル融合とセグメンテーション機能を強化するために、LSTG(Latent Space Token Generation)とFMP(Fusion Mask Prompting)モジュールを組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-26T02:20:55Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• MMSFormer: Multimodal Transformer for Material and Semantic Segmentation [16.17270247327955]
  本稿では,異なるモダリティの組み合わせから情報を効果的に融合できる新しい融合戦略を提案する。 また,MMSFormer(Multi-Modal TransFormer)と呼ばれる新たなモデルを提案する。 MMSFormerは、現在の最先端モデルを3つの異なるデータセットで上回る。
  論文  参考訳（メタデータ） (2023-09-07T20:07:57Z)
• Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
  本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。 複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。 マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
  論文  参考訳（メタデータ） (2023-07-10T17:59:40Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Missing Modality Robustness in Semi-Supervised Multi-Modal Semantic Segmentation [27.23513712371972]
  簡単なマルチモーダル核融合機構を提案する。 また,マルチモーダル学習のためのマルチモーダル教師であるM3Lを提案する。 我々の提案は、最も競争力のあるベースラインよりも、ロバストmIoUで最大10%の絶対的な改善を示す。
  論文  参考訳（メタデータ） (2023-04-21T05:52:50Z)
• Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.505062507621494]
  モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
  論文  参考訳（メタデータ） (2021-08-11T09:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。