論文の概要: CCF: Complementary Collaborative Fusion for Domain Generalized Multi-Modal 3D Object Detection

• arxiv url: http://arxiv.org/abs/2603.23276v1
• Date: Tue, 24 Mar 2026 14:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.538913
• Title: CCF: Complementary Collaborative Fusion for Domain Generalized Multi-Modal 3D Object Detection
• Title（参考訳）: CCF: ドメイン一般化多モード3次元物体検出のための相補的コラボレーティブフュージョン
• Authors: Yuchen Wu, Kun Wang, Yining Pan, Na Zhao,
• Abstract要約: マルチモーダル融合は正確な3次元物体検出のための有望なパラダイムとして登場してきた。 しかし、トレーニングとは異なるターゲットドメインにデプロイされた場合、パフォーマンスは大幅に低下する。 本研究では、堅牢なクロスドメイン一般化を制限する2つの要因を同定する。 これらの課題に対処するための3つのコンポーネントを提案する。
• 参考スコア（独自算出の注目度）: 10.131066023908023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal fusion has emerged as a promising paradigm for accurate 3D object detection. However, performance degrades substantially when deployed in target domains different from training. In this work, focusing on dual-branch proposal-level detectors, we identify two factors that limit robust cross-domain generalization: 1) in challenging domains such as rain or nighttime, one modality may undergo severe degradation; 2) the LiDAR branch often dominates the detection process, leading to systematic underutilization of visual cues and vulnerability when point clouds are compromised. To address these challenges, we propose three components. First, Query-Decoupled Loss provides independent supervision for 2D-only, 3D-only, and fused queries, rebalancing gradient flow across modalities. Second, LiDAR-Guided Depth Prior augments 2D queries with instance-aware geometric priors through probabilistic fusion of image-predicted and LiDAR-derived depth distributions, improving their spatial initialization. Third, Complementary Cross-Modal Masking applies complementary spatial masks to the image and point cloud, encouraging queries from both modalities to compete within the fused decoder and thereby promoting adaptive fusion. Extensive experiments demonstrate substantial gains over state-of-the-art baselines while preserving source-domain performance. Code and models are publicly available at https://github.com/IMPL-Lab/CCF.
• Abstract（参考訳）: マルチモーダル融合は正確な3次元物体検出のための有望なパラダイムとして登場してきた。 しかし、トレーニングとは異なるターゲットドメインにデプロイされた場合、パフォーマンスは大幅に低下する。 本研究では、二重分岐型提案レベル検出器に着目し、堅牢なクロスドメイン一般化を制限する2つの要因を同定する。 1) 雨や夜間等の挑戦的領域では,1つのモダリティが著しく劣化することがある。 2) LiDARブランチは検出プロセスを支配することが多く,点雲の侵入時に視覚的手がかりや脆弱性を体系的に非活用する。 これらの課題に対処するために,我々は3つのコンポーネントを提案する。 まず、Query-Decoupled Lossは、2Dオンリー、3Dオンリー、フューズドクエリの独立した監視を提供し、モダリティ間の勾配フローを再バランスする。 第二に、LiDAR-Guided Depth Priorは、画像予測およびLiDAR由来の深度分布の確率的融合を通じて、2Dクエリをインスタンス認識幾何先行で拡張し、空間初期化を改善する。 第3に、補完的なクロスモーダルマスキングがイメージとポイントクラウドに補完的な空間マスクを適用し、両モードからのクエリが融合デコーダ内で競合するように促され、適応的な融合が促進される。 大規模な実験は、ソースドメインのパフォーマンスを維持しながら、最先端のベースラインよりも大幅に向上した。 コードとモデルはhttps://github.com/IMPL-Lab/CCFで公開されている。

関連論文リスト

• CMF-IoU: Multi-Stage Cross-Modal Fusion 3D Object Detection with IoU Joint Prediction [29.7092783661859]
  カメラとLiDARセンサーに基づくマルチモーダル手法は、3D検出の分野で大きな注目を集めている。 CMF-IOUと呼ばれる多段階の相互融合3D検出フレームワークを導入し,3次元空間情報と2次元意味情報を整合させることの課題に対処する。
  論文  参考訳（メタデータ） (2025-08-18T13:32:07Z)
• LDRFusion: A LiDAR-Dominant multimodal refinement framework for 3D object detection [5.820124526272312]
  既存のLiDAR-Camera融合法は3次元物体検出において大きな成果を上げている。 我々は,LDRFusionを提案する。LDRFusionは,マルチセンサフュージョンのための新しい2段階改良フレームワークである。 当社のフレームワークは,複数のカテゴリと難易度をまたいだパフォーマンスを継続的に達成しています。
  論文  参考訳（メタデータ） (2025-07-22T04:35:52Z)
• Learning to Align and Refine: A Foundation-to-Diffusion Framework for Occlusion-Robust Two-Hand Reconstruction [50.952228546326516]
  単眼画像からの両手再建は、複雑でダイナミックな手の位置が原因で、永続的な課題に直面している。 既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。 本稿では,視覚基礎モデルからの2次元事前ガイダンスを正確に整合させる2段階のファンデーション・ツー・ディフュージョンフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-22T14:42:27Z)
• Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
  STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。 まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。 最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
  論文  参考訳（メタデータ） (2023-07-01T13:53:14Z)
• CL3D: Unsupervised Domain Adaptation for Cross-LiDAR 3D Detection [16.021932740447966]
  クロスLiDAR3D検出のためのドメイン適応は、生データ表現に大きなギャップがあるため困難である。 以上の課題を克服する、教師なしのドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2022-12-01T03:22:55Z)
• MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
  自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。 近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。 マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-07T12:29:29Z)
• MBDF-Net: Multi-Branch Deep Fusion Network for 3D Object Detection [17.295359521427073]
  3次元物体検出のためのMulti-Branch Deep Fusion Network (MBDF-Net)を提案する。 最初の段階では、マルチブランチ機能抽出ネットワークは、Adaptive Attention Fusionモジュールを使用して、単一モーダルなセマンティックな特徴からクロスモーダルな融合機能を生成する。 第2段階では、関心領域(RoI)をプールした核融合モジュールを用いて局所的な特徴を改良する。
  論文  参考訳（メタデータ） (2021-08-29T15:40:15Z)
• Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
  ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。 既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。 我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
  論文  参考訳（メタデータ） (2021-07-23T17:19:23Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。