論文の概要: FuseAdapt: Parameter-Efficient Multimodal Fusion for Semantic Segmentation with Missing Modalities
- arxiv url: http://arxiv.org/abs/2610.21779v1
- Date: Thu, 15 Oct 2026 12:36:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.065947
- Title: FuseAdapt: Parameter-Efficient Multimodal Fusion for Semantic Segmentation with Missing Modalities
- Title（参考訳）: FuseAdapt: 欠損モードを有するセマンティックセグメンテーションのためのパラメータ効率の良いマルチモーダルフュージョン
- Abstract要約: 多モードセマンティックセグメンテーションは相補的なセンサーの恩恵を受けるが、この利点はテスト時にいくつかのモダリティが欠落している場合に脆弱である。
凍結視覚基礎モデルの適応空間内での融合を行うパラメータ効率の高いフレームワークである textbfFuseAdapt を提案する。
FuseAdaptは、トレーニング可能な小さな予算で、モダリティ完全とモダリティ不完全セグメンテーションの両方を一貫して改善する。
- 参考スコア（独自算出の注目度）: 35.85165262779743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal semantic segmentation benefits from complementary sensors, but this benefit is fragile when some modalities are degraded or missing at test time. Many existing methods rely on dedicated fusion modules or multi-branch cross-modal encoders, and the fusion often becomes unreliable when modalities are absent, leading to substantial performance drops. We propose \textbf{FuseAdapt}, a parameter-efficient framework that performs fusion within the adaptation space of a frozen vision foundation model (VFM), exploring whether VFM priors can serve as an effective shared backbone for multi-modal segmentation. Instead of attaching a standalone fusion network, FuseAdapt assigns each modality a lightweight adaptation branch and performs \emph{adaptation-space fusion} by keeping Q/V low-rank adaptation private to each modality and routing only FFN low-rank residual activations across modalities inside the frozen backbone. The pretrained VFM remains fixed while modality-specific corrections and explicit cross-modal interaction are learned through the adaptation paths. To handle missing modalities, we further introduce \textbf{Predictive Modality Modeling (PMM)}, a direct representation-level objective for cross-modal redundancy. During training, PMM masks a target modality and predicts its embedding from the visible ones, supervised by a teacher target computed under full-modality input. PMM is used only during training and adds no inference-time overhead. Across three multi-modal segmentation benchmarks (MCubeS, DELIVER, MUSES), FuseAdapt consistently improves both modality-complete and modality-incomplete segmentation with a small trainable budget, yielding up to +3.01 mIoU under full modalities and +12.56 mIoU under missing modalities over prior state-of-the-art. Project page: https://devinxzhang.github.io/FuseAdapt-Page/.
- Abstract（参考訳）: マルチモーダルなセマンティックセグメンテーションは相補的なセンサーの恩恵を受けるが、この利点はいくつかのモダリティがテスト時に劣化または欠落した場合に脆弱である。
既存の多くのメソッドは、専用の融合モジュールやマルチブランチのクロスモーダルエンコーダに依存しており、モダリティが欠如している場合、しばしば融合は信頼性が低下し、性能が低下する。
本稿では,凍結視覚基盤モデル (VFM) の適応空間内での融合を行うパラメータ効率のよいフレームワークである \textbf{FuseAdapt} を提案する。
スタンドアローンの融合ネットワークをアタッチする代わりに、FuseAdaptは各モダリティを軽量な適応ブランチに割り当て、Q/Vローランク適応を各モダリティにプライベートに保ち、凍結したバックボーン内のモダリティをまたいだFFNローランク残留活性化のみをルーティングすることで \emph{adaptation-space fusion} を実行する。
事前訓練されたVFMは、モダリティ固有の補正と明示的な相互モーダル相互作用が適応経路を通して学習されている間、固定されている。
モダリティの欠如に対処するために,クロスモーダル冗長性のための表現レベルの直接的目的である \textbf{Predictive Modality Modeling (PMM) を導入する。
トレーニング中、PMMは目標モダリティをマスクし、全モダリティ入力で計算された教師ターゲットによって教師される目に見えるモダリティから埋め込みを予測する。
PMMはトレーニング時にのみ使用され、推論時のオーバーヘッドを追加しない。
3つのマルチモーダルセグメンテーションベンチマーク (MCubeS, DELIVER, MUSES) の中で、FuseAdapt は最小限のトレーニング可能な予算でモダリティ完全とモダリティ不完全セグメンテーションを一貫して改善し、完全なモダリティの下では+3.01 mIoU、先行技術のモダリティで+12.56 mIoUとなる。
プロジェクトページ: https://devinxzhang.github.io/FuseAdapt-Page/。
関連論文リスト
- COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing [7.598111859541752]
本稿では, 融合完全性の原理に基づくモダリティの欠如による融合フレームワークを提案する。
各モダリティの欠落に対して、観測されたモダリティからターゲット固有のプロキシトークンを合成する。
XRF55、MM-Fi、OctoNetを多種多様なシングル・マルチ・ミス設定で実験した結果、我々のフレームワークは従来の手法よりも優れていたことが判明した。
論文 参考訳（メタデータ） (2026-04-02T13:55:24Z) - Parameter-Efficient Modality-Balanced Symmetric Fusion for Multimodal Remote Sensing Semantic Segmentation [8.840077295284393]
MoBaNetはパラメータ効率とモダリティバランスを持つ対称核融合フレームワークである。
ほとんど凍結されたVFMバックボーン上に構築されたMoBaNetは、一般化可能な表現を維持するために対称なデュアルストリームアーキテクチャを採用している。
ISPRS VaihingenとPotsdamベンチマークの実験は、MoBaNetが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-03-18T13:23:58Z) - SiMO: Single-Modality-Operable Multimodal Collaborative Perception [21.057627256755385]
本稿では,Single-Modality-Operable Multimodal Collaborative Perception (SiMO)を紹介する。
提案したLongth-Adaptive Multi-Modal Fusion (LAMMA) を採用することで、SiMOはモード故障時に残ったモード特徴を適応的に処理できる。
実験により、SiMOは、モダリティ固有の特徴を同時に保存しながら、マルチモーダルな特徴を効果的に整列することを示した。
論文 参考訳（メタデータ） (2026-03-09T11:09:53Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - MM-DETR: An Efficient Multimodal Detection Transformer with Mamba-Driven Dual-Granularity Fusion and Frequency-Aware Modality Adapters [12.063966356953186]
マルチモーダルリモートセンシングオブジェクト検出は、困難条件下でより正確で堅牢な認識を実現することを目的としている。
注意に基づく、あるいは変形可能な畳み込み融合ブロックに依存する既存のアプローチは、依然としてパフォーマンスと軽量設計のバランスをとるのに苦労している。
マルチモーダルオブジェクト検出のための軽量かつ効率的なフレームワークMM-DETRを提案する。
論文 参考訳（メタデータ） (2025-11-29T07:23:01Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。
分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。
CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2024-03-12T04:04:38Z) - FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。
FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。
実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2023-05-05T04:28:48Z) - Exploiting modality-invariant feature for robust multimodal emotion
recognition with missing modalities [76.08541852988536]
我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。
提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
論文 参考訳（メタデータ） (2022-10-27T12:16:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。