論文の概要: CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection

• arxiv url: http://arxiv.org/abs/2204.00325v2
• Date: Mon, 4 Apr 2022 04:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 10:57:10.073302
• Title: CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection
• Title（参考訳）: CAT-Det:マルチモーダル3Dオブジェクト検出のためのコントラスト拡張変換器
• Authors: Yanan Zhang, Jiaxin Chen, Di Huang
• Abstract要約: マルチモーダル3Dオブジェクト検出(CAT-Det)のためのコントラスト変換器を提案する。 CAT-DetはPointformer (PT) ブランチと Imageformer (IT) ブランチとCMT (Cross-Modal Transformer) モジュールで構成される2ストリーム構造を採用している。 本稿では,一方向マルチモーダルデータ拡張(OMDA)手法を提案する。
• 参考スコア（独自算出の注目度）: 32.06145370498289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In autonomous driving, LiDAR point-clouds and RGB images are two major data modalities with complementary cues for 3D object detection. However, it is quite difficult to sufficiently use them, due to large inter-modal discrepancies. To address this issue, we propose a novel framework, namely Contrastively Augmented Transformer for multi-modal 3D object Detection (CAT-Det). Specifically, CAT-Det adopts a two-stream structure consisting of a Pointformer (PT) branch, an Imageformer (IT) branch along with a Cross-Modal Transformer (CMT) module. PT, IT and CMT jointly encode intra-modal and inter-modal long-range contexts for representing an object, thus fully exploring multi-modal information for detection. Furthermore, we propose an effective One-way Multi-modal Data Augmentation (OMDA) approach via hierarchical contrastive learning at both the point and object levels, significantly improving the accuracy only by augmenting point-clouds, which is free from complex generation of paired samples of the two modalities. Extensive experiments on the KITTI benchmark show that CAT-Det achieves a new state-of-the-art, highlighting its effectiveness.
• Abstract（参考訳）: 自律運転では、LiDARポイントクラウドとRGBイメージが2つの主要なデータモダリティであり、3Dオブジェクト検出のための補完的なキューである。 しかし,モード間差異が大きいため,十分に使用するのは非常に困難である。 この問題に対処するため,マルチモーダル3Dオブジェクト検出(CAT-Det)のためのContrastively Augmented Transformerを提案する。 具体的には、CAT-DetはPointformer (PT) ブランチと Imageformer (IT) ブランチとCMT (Cross-Modal Transformer) モジュールで構成される2ストリーム構造を採用している。 PT、IT、CMTは、オブジェクトを表現するためのモダル内およびモダル間長距離コンテキストを共同で符号化し、検出のためのマルチモーダル情報を完全に探索する。 さらに,一方向マルチモーダルデータ拡張 (OMDA) 手法を,点レベルと対象レベルでの階層的コントラスト学習により効果的に提案する。 KITTIベンチマークの大規模な実験は、CAT-Detが新たな最先端を実現し、その有効性を強調していることを示している。

関連論文リスト

• PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
  PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。 提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。 我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2024-03-14T09:28:12Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
  屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
  論文  参考訳（メタデータ） (2023-08-15T12:13:44Z)
• MSeg3D: Multi-modal 3D Semantic Segmentation for Autonomous Driving [15.36416000750147]
  マルチモーダルな3次元セマンティックセグメンテーションモデル(MSeg3D)を提案する。 MSeg3Dは依然として堅牢性を示し、LiDARのみのベースラインを改善している。
  論文  参考訳（メタデータ） (2023-03-15T13:13:03Z)
• PTA-Det: Point Transformer Associating Point cloud and Image for 3D Object Detection [3.691671505269693]
  多くのマルチモーダル検出法は、LiDARのみの手法よりもさらに悪い性能を発揮する。 Pseudo Point Cloud Generation Networkは、画像情報を疑似ポイントで変換するために提案されている。 画像からのLiDAR点と擬似点の特徴は、統一された点ベース表現の下で深く融合することができる。
  論文  参考訳（メタデータ） (2023-01-18T04:35:49Z)
• FusionRCNN: LiDAR-Camera Fusion for Two-stage 3D Object Detection [11.962073589763676]
  既存の3D検出器は、2段階のパラダイムを採用することで精度を大幅に向上させる。 特に遠く離れた地点では、点雲の広がりは、LiDARのみの精製モジュールがオブジェクトを正確に認識し、配置することを困難にしている。 We propose a novel multi-modality two-stage approach called FusionRCNN, which is effective and efficient fuses point clouds and camera image in the Regions of Interest(RoI)。 FusionRCNNは、強力なSECONDベースラインを6.14%のmAPで大幅に改善し、競合する2段階アプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-09-22T02:07:25Z)
• AutoAlignV2: Deformable Feature Aggregation for Dynamic Multi-Modal 3D Object Detection [17.526914782562528]
  我々はAutoAlign上に構築された高速で強力なマルチモーダル3D検出フレームワークであるAutoAlignV2を提案する。 我々の最良のモデルは、nuScenesテストのリーダーボード上で72.4 NDSに達し、新しい最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-07-21T06:17:23Z)
• Weakly Aligned Feature Fusion for Multimodal Object Detection [52.15436349488198]
  マルチモーダルデータはしばしば位置ずれの問題に悩まされます。つまり、イメージペアは厳密に一致していません。 この問題により、マルチモーダルな特徴を融合させることが難しくなり、畳み込みニューラルネットワーク(CNN)のトレーニングが難解になる。 本稿では、位置ずれ問題に対処するために、アライメント領域CNN(AR-CNN)と呼ばれる汎用マルチモーダル検出器を提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:35:23Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object Detection with Transformers [78.48081972698888]
  M3DeTRは、マルチスケールのフィーチャーピラミッドに基づいて、異なるポイントクラウド表現と異なる機能スケールを組み合わせたものです。 M3DeTRは、複数のポイントクラウド表現、機能スケール、およびトランスを使用してポイントクラウド間の相互関係を同時にモデル化する最初のアプローチです。
  論文  参考訳（メタデータ） (2021-04-24T06:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。