論文の概要: MonoMM: A Multi-scale Mamba-Enhanced Network for Real-time Monocular 3D Object Detection

• arxiv url: http://arxiv.org/abs/2408.00438v1
• Date: Thu, 1 Aug 2024 10:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 21:05:55.551627
• Title: MonoMM: A Multi-scale Mamba-Enhanced Network for Real-time Monocular 3D Object Detection
• Title（参考訳）: MonoMM:リアルタイムモノクロ3次元物体検出のためのマルチスケールマンバ拡張ネットワーク
• Authors: Youjia Fu, Zihao Xu, Junsong Fu, Huixia Xue, Shuqiu Tan, Lei Li,
• Abstract要約: リアルタイムモノクロ3Dオブジェクト検出のための革新的なネットワークアーキテクチャであるMonoMMを提案する。 MonoMM は Focused Multi-Scale Fusion (FMF) と Depth-Aware Feature Enhancement Mamba (DMB) モジュールで構成されている。 提案手法は,従来の単分子法よりも優れ,リアルタイム検出を実現する。
• 参考スコア（独自算出の注目度）: 9.780498146964097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in transformer-based monocular 3D object detection techniques have exhibited exceptional performance in inferring 3D attributes from single 2D images. However, most existing methods rely on resource-intensive transformer architectures, which often lead to significant drops in computational efficiency and performance when handling long sequence data. To address these challenges and advance monocular 3D object detection technology, we propose an innovative network architecture, MonoMM, a Multi-scale \textbf{M}amba-Enhanced network for real-time Monocular 3D object detection. This well-designed architecture primarily includes the following two core modules: Focused Multi-Scale Fusion (FMF) Module, which focuses on effectively preserving and fusing image information from different scales with lower computational resource consumption. By precisely regulating the information flow, the FMF module enhances the model adaptability and robustness to scale variations while maintaining image details. Depth-Aware Feature Enhancement Mamba (DMB) Module: It utilizes the fused features from image characteristics as input and employs a novel adaptive strategy to globally integrate depth information and visual information. This depth fusion strategy not only improves the accuracy of depth estimation but also enhances the model performance under different viewing angles and environmental conditions. Moreover, the modular design of MonoMM provides high flexibility and scalability, facilitating adjustments and optimizations according to specific application needs. Extensive experiments conducted on the KITTI dataset show that our method outperforms previous monocular methods and achieves real-time detection.
• Abstract（参考訳）: 近年, トランスを用いたモノクロ3次元物体検出技術の進歩は, 単一2次元画像から3次元特性を推定する際, 例外的な性能を示した。 しかし、既存のほとんどの手法はリソース集約型トランスフォーマーアーキテクチャに依存しており、長いシーケンスデータを扱う場合、計算効率と性能が大幅に低下する。 これらの課題に対処し、モノクロ3Dオブジェクト検出技術の進歩を図るために、リアルタイムモノクロ3Dオブジェクト検出のためのマルチスケール \textbf{M}amba-Enhanced Network であるMonoMMを提案する。 フォーカスド・マルチスケール・フュージョン(FMF)モジュール(Focused Multi-Scale Fusion, FMF)は、計算資源消費が低い異なるスケールから画像情報を効果的に保存し、保存することに焦点を当てるモジュールである。 情報フローを正確に調整することにより、FMFモジュールはモデル適応性とロバスト性を高め、画像の詳細を維持しながら変化を拡大する。 Depth-Aware Feature Enhancement Mamba (DMB) Module: 画像の特徴から融合した特徴を入力として利用し、深度情報と視覚情報をグローバルに統合するための新しい適応戦略を採用する。 この深度融合戦略は、深度推定の精度を向上するだけでなく、異なる視角と環境条件下でのモデル性能を向上させる。 さらに、MonoMMのモジュール化設計は、高い柔軟性とスケーラビリティを提供し、特定のアプリケーションのニーズに応じて調整と最適化を容易にする。 KITTIデータセットを用いた大規模な実験により,本手法は従来の単分子法よりも優れ,リアルタイム検出が可能であった。

関連論文リスト

• Efficient Feature Aggregation and Scale-Aware Regression for Monocular 3D Object Detection [40.14197775884804]
  MonoASRHは、効率的なハイブリッド特徴集約モジュール(EH-FAM)と適応スケール対応3D回帰ヘッド(ASRH)で構成される新しいモノクル3D検出フレームワークである。 EH-FAMは、小規模オブジェクトのセマンティックな特徴を抽出するために、グローバルな受容領域を持つマルチヘッドアテンションを用いる。 ASRHは2次元境界ボックス次元を符号化し、EH-FAMで集約された意味的特徴とスケール特徴を融合する。
  論文  参考訳（メタデータ） (2024-11-05T02:33:25Z)
• Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
  既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。 本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。 我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-09T22:57:47Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• Towards Model Generalization for Monocular 3D Object Detection [57.25828870799331]
  我々は,Mono3Dオブジェクト検出に有効な統合カメラ一般化パラダイム(CGP)を提案する。 また,インスタンスレベルの拡張によりギャップを埋める2D-3D幾何一貫性オブジェクトスケーリング戦略(GCOS)を提案する。 DGMono3Dと呼ばれる手法は、評価された全てのデータセットに対して顕著な性能を達成し、SoTAの教師なしドメイン適応スキームを上回ります。
  論文  参考訳（メタデータ） (2022-05-23T23:05:07Z)
• SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
  SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。 ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。 本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
  論文  参考訳（メタデータ） (2021-12-03T13:57:14Z)
• Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth [64.29043589521308]
  仮想深度で画像を合成することでトレーニングデータを増強するレンダリングモジュールを提案する。 レンダリングモジュールは、RGB画像と対応するスパース深度画像とを入力として、さまざまなフォトリアリスティック合成画像を出力する。 さらに,深度推定タスクを通じて共同で最適化することで,検出モデルを改善する補助モジュールを導入する。
  論文  参考訳（メタデータ） (2021-07-28T11:00:47Z)
• Multi-View Adaptive Fusion Network for 3D Object Detection [14.506796247331584]
  LiDAR-カメラ融合に基づく3Dオブジェクト検出は、自動運転の新たな研究テーマになりつつある。 本稿では,LiDARの鳥眼ビュー,LiDARレンジビュー,カメラビューイメージを3Dオブジェクト検出の入力として利用する,単一ステージ多視点融合フレームワークを提案する。 これら2つのコンポーネントを統合するために,MVAF-Netというエンドツーエンドの学習ネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-02T00:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。