論文の概要: Representation Space Constrained Learning with Modality Decoupling for Multimodal Object Detection

• arxiv url: http://arxiv.org/abs/2511.15433v1
• Date: Wed, 19 Nov 2025 13:41:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.824134
• Title: Representation Space Constrained Learning with Modality Decoupling for Multimodal Object Detection
• Title（参考訳）: マルチモーダル物体検出のためのモダリティデカップリングを用いた表現空間制約学習
• Authors: YiKang Shao, Tao Shi,
• Abstract要約: 本稿では,マルチモーダル検出における核融合劣化の理論的検討を行う。 2つのモジュールからなるRepresentation Space Constrained Learning with Modality Decoupling (RSC-MD)法を提案する。 提案手法は, 核融合劣化を効果的に軽減し, 複数のベンチマークで最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 3.556651853847748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal object detection has attracted significant attention in both academia and industry for its enhanced robustness. Although numerous studies have focused on improving modality fusion strategies, most neglect fusion degradation, and none provide a theoretical analysis of its underlying causes. To fill this gap, this paper presents a systematic theoretical investigation of fusion degradation in multimodal detection and identifies two key optimization deficiencies: (1) the gradients of unimodal branch backbones are severely suppressed under multimodal architectures, resulting in under-optimization of the unimodal branches; (2) disparities in modality quality cause weaker modalities to experience stronger gradient suppression, which in turn results in imbalanced modality learning. To address these issues, this paper proposes a Representation Space Constrained Learning with Modality Decoupling (RSC-MD) method, which consists of two modules. The RSC module and the MD module are designed to respectively amplify the suppressed gradients and eliminate inter-modality coupling interference as well as modality imbalance, thereby enabling the comprehensive optimization of each modality-specific backbone. Extensive experiments conducted on the FLIR, LLVIP, M3FD, and MFAD datasets demonstrate that the proposed method effectively alleviates fusion degradation and achieves state-of-the-art performance across multiple benchmarks. The code and training procedures will be released at https://github.com/yikangshao/RSC-MD.
• Abstract（参考訳）: マルチモーダル物体検出は、その堅牢性の向上により、学界と産業の両方で大きな注目を集めている。 多くの研究は、モダリティ融合戦略の改善に重点を置いているが、ほとんどの場合、核融合の劣化を無視しており、その根本原因に関する理論的分析は提供されていない。 このギャップを埋めるために,本論文では, マルチモーダル検出における核融合劣化の理論的検討を行い, 1 つの重要な最適化欠陥を同定する。(1) 単一モーダル分岐の勾配は, 多モーダルアーキテクチャの下で著しく抑制され, 一モーダル分岐の過度な最適化がもたらされる。 本稿では,2つのモジュールからなるRepresentation Space Constrained Learning with Modality Decoupling (RSC-MD)法を提案する。 RSCモジュールとMDモジュールは、それぞれ抑制された勾配を増幅し、モダリティ間カップリング干渉とモダリティ不均衡を排除し、各モダリティ固有のバックボーンの包括的な最適化を可能にするように設計されている。 FLIR, LLVIP, M3FD, MFADデータセットで行った大規模な実験により, 提案手法は核融合劣化を効果的に軽減し, 複数のベンチマークで最先端の性能を実現することを示した。 コードとトレーニング手順はhttps://github.com/yikangshao/RSC-MDで公開される。

関連論文リスト

• G$^{2}$D: Boosting Multimodal Learning with Gradient-Guided Distillation [0.5729426778193399]
  本稿では, カスタマイズされた損失関数を持つマルチモーダルモデルを最適化する知識蒸留フレームワークであるGradient-Guided Distillation (G$2$D)を紹介する。 G$2$Dは、訓練中に弱いモダリティの重要度を増幅し、分類および回帰タスクにおける最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T17:37:36Z)
• Continual Multimodal Contrastive Learning [99.53621521696051]
  MCL(Multimodal Contrastive Learning)は、異なるモダリティを整列し、関節空間におけるマルチモーダル表現を生成する。 マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。 本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。 理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
  論文  参考訳（メタデータ） (2025-03-19T07:57:08Z)
• Rethinking Multi-Modal Object Detection from the Perspective of Mono-Modality Feature Learning [18.268054258939213]
  MMOD(Multi-Modal Object Detection)は様々な用途に広く応用されている。 本稿では,マルチモーダル検出器の線形探査評価について紹介する。 M$2$D-LIFという,モノモダリティ蒸留(M$2$D)法と局所照明対応核融合(LIF)モジュールからなる新しいフレームワークを構築した。
  論文  参考訳（メタデータ） (2025-03-14T18:15:53Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• Robust Modality-incomplete Anomaly Detection: A Modality-instructive Framework with Benchmark [69.02666229531322]
  モダリティ不完全産業異常検出(MIIAD)の先駆的研究を紹介する。 その結果,既存のMIAD手法はMIIADベンチでは性能が悪く,性能が著しく低下していることが判明した。 本稿では,新しい2段階のロバストモードアリティファジングと検出フレームwoRk(RADAR)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。