論文の概要: FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers

• arxiv url: http://arxiv.org/abs/2510.15385v1
• Date: Fri, 17 Oct 2025 07:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.516387
• Title: FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers
• Title（参考訳）: FreqPDE:多視点3次元物体検出変換器における位置深さ埋め込みの再検討
• Authors: Haisheng Su, Junjie Zhang, Feixiang Song, Sanping Zhou, Wei Wu, Nanning Zheng, Junchi Yan,
• Abstract要約: 周波数対応位置深度埋め込み (FreqPDE) を導入し, 空間情報と2次元画像特徴を付加して3次元検出変換器デコーダを提案する。 FreqPDEは2D画像特徴と3D位置埋め込みを組み合わせることで、クエリデコーディングのための3D深度認識機能を生成する。
• 参考スコア（独自算出の注目度）: 91.59069344768858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting 3D objects accurately from multi-view 2D images is a challenging yet essential task in the field of autonomous driving. Current methods resort to integrating depth prediction to recover the spatial information for object query decoding, which necessitates explicit supervision from LiDAR points during the training phase. However, the predicted depth quality is still unsatisfactory such as depth discontinuity of object boundaries and indistinction of small objects, which are mainly caused by the sparse supervision of projected points and the use of high-level image features for depth prediction. Besides, cross-view consistency and scale invariance are also overlooked in previous methods. In this paper, we introduce Frequency-aware Positional Depth Embedding (FreqPDE) to equip 2D image features with spatial information for 3D detection transformer decoder, which can be obtained through three main modules. Specifically, the Frequency-aware Spatial Pyramid Encoder (FSPE) constructs a feature pyramid by combining high-frequency edge clues and low-frequency semantics from different levels respectively. Then the Cross-view Scale-invariant Depth Predictor (CSDP) estimates the pixel-level depth distribution with cross-view and efficient channel attention mechanism. Finally, the Positional Depth Encoder (PDE) combines the 2D image features and 3D position embeddings to generate the 3D depth-aware features for query decoding. Additionally, hybrid depth supervision is adopted for complementary depth learning from both metric and distribution aspects. Extensive experiments conducted on the nuScenes dataset demonstrate the effectiveness and superiority of our proposed method.
• Abstract（参考訳）: 多視点2D画像から3Dオブジェクトを正確に検出することは、自動運転の分野では難しいが必須課題である。 現在の手法では、深度予測を統合してオブジェクトクエリ復号のための空間情報を復元する。 しかし,物体境界の深さ不連続性や小物体の不連続など,予測された深度品質は相変わらず不満足である。 さらに、クロスビューの一貫性やスケールの不変性も、以前の方法では見過ごされている。 本稿では,周波数対応位置深度埋め込み(FreqPDE)を導入し,3つの主要モジュールから得られる3次元検出トランスフォーマデコーダの空間情報と2次元画像特徴を対応付ける。 具体的には、周波数対応空間ピラミッドエンコーダ(FSPE)は、それぞれ異なるレベルの高周波エッジヒントと低周波セマンティクスを組み合わせて特徴ピラミッドを構築する。 次に、クロスビュースケール不変深度予測器(CSDP)は、クロスビューかつ効率的なチャネルアテンション機構を用いて画素レベルの深さ分布を推定する。 最後に、位置深度エンコーダ(PDE)は、2次元画像特徴と3次元位置埋め込みを組み合わせることで、クエリ復号のための3次元深度認識機能を生成する。 さらに、計量と分布の両面から相補的な深度学習を行うために、ハイブリッド深度監視が採用されている。 nuScenesデータセット上で行った実験により,提案手法の有効性と優位性を実証した。

関連論文リスト

• OPEN: Object-wise Position Embedding for Multi-view 3D Object Detection [102.0744303467713]
  OPENと呼ばれる新しい多視点3Dオブジェクト検出器を提案する。 我々の主目的は、提案したオブジェクト指向位置埋め込みを通して、オブジェクトワイド情報をネットワークに効果的に注入することである。 OPENは、nuScenesテストベンチマークで64.4%のNDSと56.7%のmAPで、最先端の新たなパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-07-15T14:29:15Z)
• Toward Accurate Camera-based 3D Object Detection via Cascade Depth Estimation and Calibration [20.82054596017465]
  最近の3次元物体検出は、画像から3次元特徴空間への変換の精度によって制限されている。 本稿では,カメラを用いた3次元物体検出の基本的な課題である,正確な特徴持ち上げと物体位置決めのための深度情報を効果的に学習する方法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T14:21:26Z)
• Perspective-aware Convolution for Monocular 3D Object Detection [2.33877878310217]
  画像の長距離依存性をキャプチャする新しい視点対応畳み込み層を提案する。 画像画素ごとの深度軸に沿った特徴を抽出するために畳み込みカーネルを強制することにより、パースペクティブ情報をネットワークアーキテクチャに組み込む。 我々は、KITTI3Dデータセットの性能向上を実証し、簡単なベンチマークで平均23.9%の精度を達成した。
  論文  参考訳（メタデータ） (2023-08-24T17:25:36Z)
• MonoPGC: Monocular 3D Object Detection with Pixel Geometry Contexts [6.639648061168067]
  我々は、リッチなPixel Geometry Contextsを備えた新しいエンドツーエンドのモノクロ3Dオブジェクト検出フレームワークであるMonoPGCを提案する。 我々は,局所的および大域的な深度幾何学的知識を視覚的特徴に注入するために,画素深度推定を補助タスクとして導入し,設計深度クロスアテンションピラミッドモジュール(DCPM)を設計する。 さらに,3次元空間位置と奥行き認識機能を効率よく統合するDSATを提案する。
  論文  参考訳（メタデータ） (2023-02-21T09:21:58Z)
• OA-DET3D: Embedding Object Awareness as a General Plug-in for Multi-Camera 3D Object Detection [77.43427778037203]
  我々は3Dオブジェクト検出を改善するプラグインモジュールであるOA-DET3Dを紹介する。 OA-DET3Dは、オブジェクト中心の深度情報と前景の擬似点を活用することにより、オブジェクトの表現を高める。 我々は、OA-DET3Dの有効性を検証するために、nuScenesデータセットとArgoverse 2データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-01-13T06:02:31Z)
• Boosting Monocular 3D Object Detection with Object-Centric Auxiliary Depth Supervision [13.593246617391266]
  本稿では,RGB画像に基づく3D検出器を,深度推定タスクに類似した深度予測損失で共同でトレーニングすることにより,RGB画像に基づく3D検出器の強化手法を提案する。 新たな物体中心深度予測損失は,3次元物体検出において重要な前景物体周辺の深度に焦点をあてる。 我々の深度回帰モデルは、物体の3次元信頼度を表すために、深度の不確かさを予測するためにさらに訓練される。
  論文  参考訳（メタデータ） (2022-10-29T11:32:28Z)
• MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection [57.969536140562674]
  深度誘導型TRansformer(MonoDETR)を用いたモノクロ検出のための最初のDETRフレームワークについて紹介する。 我々は3Dオブジェクト候補を学習可能なクエリとして定式化し、オブジェクトとシーンの深度相互作用を行うための深度誘導デコーダを提案する。 モノクルイメージを入力としてKITTIベンチマークでは、MonoDETRは最先端のパフォーマンスを実現し、追加の深度アノテーションを必要としない。
  論文  参考訳（メタデータ） (2022-03-24T19:28:54Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• M3DSSD: Monocular 3D Single Stage Object Detector [82.25793227026443]
  特徴アライメントと非対称非局所的注意を有するモノクロ3次元単段物体検出器(M3DSSD)を提案する。 提案したM3DSSDは,KITTIデータセット上のモノラルな3Dオブジェクト検出手法よりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2021-03-24T13:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。