論文の概要: M$^4$-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection

• arxiv url: http://arxiv.org/abs/2605.11760v1
• Date: Tue, 12 May 2026 08:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.716877
• Title: M$^4$-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection
• Title（参考訳）: M$^4$-SAM:RGB-Dビデオサルエント物体検出のためのメモリ拡張SAMを用いたマルチモーダル混合実験
• Authors: Jiyuan Liu, Jia Lin, Xiaofei Zhou, Runmin Cong, Deyang Liu, Zhi Liu,
• Abstract要約: メモリ拡張SAM (M$4$-SAM) を用いたマルチモーダル混合実験を行い, SAM2 にモダリティ関連PEFT と階層的特徴融合を実装した。 M$4$-SAMは、3つのパブリックRGB-D VSODデータセット上のすべての評価指標の最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 43.183940069110186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Segment Anything Model 2 (SAM2) has emerged as a foundation model for universal segmentation. Owing to its generalizable visual representations, SAM2 has been successfully applied to various downstream tasks. However, extending SAM2 to the RGB-D video salient object detection (RGB-D VSOD) task encounters three challenges including limited spatial modeling of linear LoRA, insufficient employment of SAM's multi-scale features, and dependence of initialization on explicit prompts. To address the issues, we present Multi-Modal Mixture-of-Experts with Memory-Augmented SAM (M$^4$-SAM), which equips SAM2 with modality-related PEFT, hierarchical feature fusion, and prompt-free memory initialization. Firstly, we inject Modality-Aware MoE-LORA, which employs convolutional experts to encode local spatial priors and introduces a modality dispatcher for efficient multi-modal fine-tuning, into SAM2's encoder. Secondly, we deploy Gated Multi-Level Feature Fusion, which hierarchically aggregates multi-scale encoder features with an adaptive gating mechanism, to balance spatial details and semantic context. Finally, to conduct zero-shot VSOD without manual prompts, we utilize a Pseudo-Guided Initialization, where a coarse mask is regarded as a pseudo prior and used to bootstrap the memory bank. Extensive experiments demonstrate that M$^4$-SAM achieves the state-of-the-art performance across all evaluation metrics on three public RGB-D VSOD datasets.
• Abstract（参考訳）: Segment Anything Model 2 (SAM2) はユニバーサルセグメンテーションの基礎モデルとして登場した。 その一般化可能な視覚表現のため、SAM2は様々な下流タスクにうまく適用されている。 しかし、SAM2をRGB-Dビデオサルエントオブジェクト検出(RGB-D VSOD)タスクに拡張することは、線形LORAの空間的モデリングの制限、SAMのマルチスケール特徴の不十分な利用、明示的なプロンプトへの初期化の依存性を含む3つの課題に直面する。 メモリ拡張SAM (M$^4$-SAM) を用いたマルチモーダル・ミックス・オブ・エクササイズ(M-Modal Mixture-of-Experts with Memory-Augmented SAM)を提案する。 まず、畳み込みの専門家を駆使して局所空間前兆を符号化するModality-Aware MoE-LORAをSAM2のエンコーダに注入し、効率的なマルチモーダル微調整のためのModality dispatcherを導入する。 次に,適応ゲーティング機構を用いて階層的にマルチスケールエンコーダ機能を集約し,空間的詳細と意味的コンテキストのバランスをとるGated Multi-Level Feature Fusionをデプロイする。 最後に、手動のプロンプトを使わずにゼロショットVSODを実行するために、偽のマスクを擬似の先行とみなし、メモリバンクをブートストラップするPseudo-Guided Initializationを利用する。 大規模な実験により、M$^4$-SAMは3つの公開RGB-D VSODデータセット上のすべての評価指標で最先端のパフォーマンスを達成することが示された。

関連論文リスト

• Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
  Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。 本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。 我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
  論文  参考訳（メタデータ） (2025-12-01T15:15:16Z)
• SAM-DAQ: Segment Anything Model with Depth-guided Adaptive Queries for RGB-D Video Salient Object Detection [44.480885765890925]
  本稿では,Depth-Guided Adaptive Queries (SAM-DAQ) を用いた新しいセグメンテーションモデルを提案する。 SAM-DAQは、深度と時間的手がかりを統一されたフレームワークにシームレスに統合することにより、SAM2をビデオから鮮やかなオブジェクトに適応させる。 実験は3つのRGB-D VSODデータセットを用いて行われ、提案したSAM-DAQは、すべての評価指標で常に最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-13T02:04:03Z)
• SAM2-UNeXT: An Improved High-Resolution Baseline for Adapting Foundation Models to Downstream Segmentation Tasks [50.97089872043121]
  SAM2-UNeXTはSAM2-UNetの中核となる原理を基盤とした高度なフレームワークである。 我々は、補助的なDINOv2エンコーダの統合によりSAM2の表現能力を拡張する。 我々のアプローチは、単純なアーキテクチャでより正確なセグメンテーションを可能にし、複雑なデコーダ設計の必要性を緩和する。
  論文  参考訳（メタデータ） (2025-08-05T15:36:13Z)
• MGD-SAM2: Multi-view Guided Detail-enhanced Segment Anything Model 2 for High-Resolution Class-agnostic Segmentation [6.976534642198541]
  MGD-SAM2は、SAM2とグローバルイメージとローカルパッチ間のマルチビュー特徴相互作用を統合し、正確なセグメンテーションを実現する。 HRCS画像の局所的詳細や大域的意味を抽出するために,まずMPAdapterを導入し,SAM2エンコーダを適応させる。 そこで, MCEM と HMIM は, 局所的なテクスチャとグローバルなコンテキストをさらに活用するために, マルチスケールにおける多視点特徴を集約することを提案する。
  論文  参考訳（メタデータ） (2025-03-31T07:02:32Z)
• Segment Anything with Multiple Modalities [61.74214237816402]
  我々は,異なるセンサスイートによる堅牢で拡張されたセグメンテーションのために,クロスモーダルおよびマルチモーダル処理をサポートするMM-SAMを開発した。 MM-SAMは、教師なしのクロスモーダル転送と弱い教師付きマルチモーダル融合という、2つの重要な設計を特徴としている。 1)単一モーダル処理のための多様な非RGBセンサへの適応,2)センサ融合によるマルチモーダルデータの相乗的処理,3)異なる下流タスクのためのマスクフリートレーニング,の3つの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-17T03:45:40Z)
• Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
  Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。 実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。 実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
  論文  参考訳（メタデータ） (2024-08-08T09:09:37Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)
• A SAM-guided Two-stream Lightweight Model for Anomaly Detection [44.73985145110819]
  我々は、教師なし異常検出(STLM)のためのSAM誘導2ストリーム軽量モデルを提案する。 MVTec ADベンチマークを用いて行った実験により,約16Mのパラメータを持ち,20msの推論時間を実現したSTLMは,最先端の手法と効果的に競合することが示された。
  論文  参考訳（メタデータ） (2024-02-29T13:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。