論文の概要: MonoDINO-DETR: Depth-Enhanced Monocular 3D Object Detection Using a Vision Foundation Model

• arxiv url: http://arxiv.org/abs/2502.00315v1
• Date: Sat, 01 Feb 2025 04:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:50.888274
• Title: MonoDINO-DETR: Depth-Enhanced Monocular 3D Object Detection Using a Vision Foundation Model
• Title（参考訳）: MonoDINO-DETR:ビジョンファウンデーションモデルを用いた奥行き強化モノクロ3次元物体検出
• Authors: Jihyeok Kim, Seongwoo Moon, Sungwon Nah, David Hyunchul Shim,
• Abstract要約: 本研究では,視覚変換器(ViT)をベースとした基礎モデルをバックボーンとし,世界的特徴を抽出して深度推定を行う。 検出変換器(DETR)アーキテクチャを統合し、深度推定と物体検出性能を1段階的に改善する。 提案モデルは、KITTIの3Dベンチマークと高標高レース環境から収集したカスタムデータセットの評価により、最近の最先端手法よりも優れている。
• 参考スコア（独自算出の注目度）: 2.0624236247076397
• License:
• Abstract: This paper proposes novel methods to enhance the performance of monocular 3D object detection models by leveraging the generalized feature extraction capabilities of a vision foundation model. Unlike traditional CNN-based approaches, which often suffer from inaccurate depth estimation and rely on multi-stage object detection pipelines, this study employs a Vision Transformer (ViT)-based foundation model as the backbone, which excels at capturing global features for depth estimation. It integrates a detection transformer (DETR) architecture to improve both depth estimation and object detection performance in a one-stage manner. Specifically, a hierarchical feature fusion block is introduced to extract richer visual features from the foundation model, further enhancing feature extraction capabilities. Depth estimation accuracy is further improved by incorporating a relative depth estimation model trained on large-scale data and fine-tuning it through transfer learning. Additionally, the use of queries in the transformer's decoder, which consider reference points and the dimensions of 2D bounding boxes, enhances recognition performance. The proposed model outperforms recent state-of-the-art methods, as demonstrated through quantitative and qualitative evaluations on the KITTI 3D benchmark and a custom dataset collected from high-elevation racing environments. Code is available at https://github.com/JihyeokKim/MonoDINO-DETR.
• Abstract（参考訳）: 本稿では,視覚基礎モデルの一般化特徴抽出機能を活用して,モノクル3次元物体検出モデルの性能を向上させる新しい手法を提案する。 従来のCNNベースのアプローチは、しばしば不正確な深さ推定に悩まされ、多段階の物体検出パイプラインに依存している。 検出変換器(DETR)アーキテクチャを統合し、深度推定と物体検出性能を1段階的に改善する。 具体的には、階層的特徴融合ブロックを導入し、基礎モデルからよりリッチな視覚的特徴を抽出し、さらに特徴抽出能力を増強する。 さらに、大規模データに基づいて訓練された相対深度推定モデルを導入し、転送学習により微調整することにより、深さ推定精度をさらに向上する。 さらに、2次元境界ボックスの参照点と次元を考慮した変換器のデコーダにおけるクエリの使用により、認識性能が向上する。 提案手法は,KITTI 3Dベンチマークと高標高レース環境から収集したカスタムデータセットの定量的,定性的な評価により,最近の最先端手法よりも優れていた。 コードはhttps://github.com/JihyeokKim/MonoDINO-DETRで公開されている。

関連論文リスト

• Depth-discriminative Metric Learning for Monocular 3D Object Detection [14.554132525651868]
  本稿では,視覚的属性に関係なく,モデルが深度識別的特徴を抽出することを奨励する新しい計量学習手法を提案する。 本手法は, 各種ベースラインの性能を平均23.51%, 5.78%向上させる。
  論文  参考訳（メタデータ） (2024-01-02T07:34:09Z)
• Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning [93.71280187657831]
  カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。 画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
  論文  参考訳（メタデータ） (2023-12-13T09:24:42Z)
• PillarNeXt: Rethinking Network Designs for 3D Object Detection in LiDAR Point Clouds [29.15589024703907]
  本稿では,計算資源の割り当ての観点から,局所的な点集合体を再考する。 最も単純な柱ベースのモデルは、精度とレイテンシの両方を考慮して驚くほどよく機能することがわかった。 本研究は,3次元物体検出の高性能化のために,詳細な幾何学的モデリングが不可欠である,という一般的な直観に挑戦する。
  論文  参考訳（メタデータ） (2023-05-08T17:59:14Z)
• IDMS: Instance Depth for Multi-scale Monocular 3D Object Detection [1.7710335706046505]
  拡張畳み込みに基づくマルチスケール認識モジュールは、異なるスケールターゲットに対するモデルの処理能力を向上するために設計されている。 提案アルゴリズムをKITTIテストセットと評価セットで検証することにより,実験結果から,車種別AP40の5.27%の改善が得られた。
  論文  参考訳（メタデータ） (2022-12-03T04:02:31Z)
• Depth Estimation Matters Most: Improving Per-Object Depth Estimation for Monocular 3D Detection and Tracking [47.59619420444781]
  検出・追跡を含む単眼的3D知覚へのアプローチは、LiDARベースの手法と比較して性能が劣ることが多い。 本稿では,オブジェクト(トラックレット)の複数のフレームに異なる表現(RGBと擬似LiDAR)と時間情報を組み合わせた多層融合手法を提案する。
  論文  参考訳（メタデータ） (2022-06-08T03:37:59Z)
• Stereo Neural Vernier Caliper [57.187088191829886]
  学習に基づくステレオ3Dオブジェクト検出のための新しいオブジェクト中心フレームワークを提案する。 初期3次元立方体推定値から改良された更新を予測する方法の問題に対処する。 提案手法は,KITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T14:36:07Z)
• Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth [64.29043589521308]
  仮想深度で画像を合成することでトレーニングデータを増強するレンダリングモジュールを提案する。 レンダリングモジュールは、RGB画像と対応するスパース深度画像とを入力として、さまざまなフォトリアリスティック合成画像を出力する。 さらに,深度推定タスクを通じて共同で最適化することで,検出モデルを改善する補助モジュールを導入する。
  論文  参考訳（メタデータ） (2021-07-28T11:00:47Z)
• Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection [86.25022248968908]
  モノラル3Dオブジェクト検出の問題を解決するために、コンテキストと奥行きを認識する特徴表現を学びます。 KITTIベンチマークデータセットにおける単眼的アプローチにおける最新の結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T16:20:24Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。