論文の概要: Leveraging Vision-Based Point Cloud Map Priors for Camera-Based 3D Object Detection and Online Vectorized HD Mapping
- arxiv url: http://arxiv.org/abs/2609.26325v1
- Date: Tue, 22 Sep 2026 12:36:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.35963
- Title: Leveraging Vision-Based Point Cloud Map Priors for Camera-Based 3D Object Detection and Online Vectorized HD Mapping
- Title(参考訳): カメラによる3次元物体検出とオンラインベクトル化HDマッピングのためのビジョンベースポイントクラウドマップの活用
- Abstract要約: カメラによる3Dオブジェクト検出とオンラインベクトル化HDマッピングは、自律運転のためのコンパクトなシーン表現を提供する。
既存の明示的なクラウド先行アプローチは、LiDARベースのマップ構築に依存しているため、高価な3Dレンジセンサーを必要とする。
本稿では,Pi3Xを用いたカメラトラバーサルから静的点雲事前マップを構築し,各点をDINOv3機能で拡張するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 18.548743271467668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Camera-based 3D object detection and online vectorized HD mapping provide compact scene representations for autonomous driving, but both depend on accurate metric geometry and remain limited by depth ambiguity. Over long-term deployment, observations from repeated traversals can be accumulated into persistent point cloud priors that provide geometric context beyond the current observations. Existing explicit point cloud prior approaches, however, rely on LiDAR-based map construction and therefore require expensive 3D ranging sensors. We propose a framework that constructs a static point cloud prior map from previous camera traversals using Pi3X and augments each point with DINOv3 features. At runtime, a local prior patch is retrieved using global localization, encoded with a sparse voxel backbone, and fused in bird's-eye view (BEV) with lifted multi-view camera features. Task-specific sparse transformer heads then predict 3D objects and vectorized map elements from the fused representation. On Argoverse 2, the vision-based prior improves a strong baseline from 0.287 to 0.299 CDS and from 0.669 to 0.750 vectorized mapping mAP. Ablations show that semantic DINOv3 features are particularly important for vectorized mapping. These results demonstrate that vision-built geometric-semantic priors provide an effective form of long-term scene memory for camera-based perception, improving both tasks without LiDAR for prior-map construction or online inference.
- Abstract(参考訳): カメラベースの3Dオブジェクト検出とオンラインベクトル化HDマッピングは、自律運転のためのコンパクトなシーン表現を提供するが、どちらも正確な距離幾何学に依存し、深さのあいまいさによって制限される。
長期の展開において、反復する軌道からの観測は、現在の観測を超えた幾何学的文脈を提供する永続的な点雲に蓄積することができる。
しかし、既存の明示的な点雲のアプローチは、LiDARベースのマップ構築に依存しているため、高価な3Dレンジングセンサーを必要とする。
本稿では,Pi3Xを用いたカメラトラバーサルから静的点雲事前マップを構築し,各点をDINOv3機能で拡張するフレームワークを提案する。
実行時に、局所的な事前パッチは、グローバルなローカライゼーションを使用して検索され、スパースボクセルバックボーンでエンコードされ、持ち上げられたマルチビューカメラ機能を備えた鳥眼ビュー(BEV)で融合される。
タスク固有のスパーストランスフォーマーヘッドは、融合表現から3Dオブジェクトとベクトル化されたマップ要素を予測する。
Argoverse 2では、視界に基づく前者は、0.287から0.299 CDSへ、そして0.669から0.750ベクトル化マッピングmAPへ、強いベースラインを改善している。
アブレーションにより、DINOv3のセマンティックな特徴はベクトル化マッピングにおいて特に重要であることが示されている。
これらの結果から,視覚で構築した幾何学的セマンティックな先行画像は,カメラによる知覚に有効な長期シーンメモリを提供し,事前マップ構築やオンライン推論のためのLiDARを使わずに,双方のタスクを改善した。
関連論文リスト
- OmniPoint: Universal Monocular Metric Pointcloud from Any Camera [79.24417597712802]
OmniPointは、様々な画像センサにまたがるメートル法再構成を一般化するために設計された統合されたフレームワークである。
射影剛性を克服するため、OmniPointは従来の平面深度回帰を放棄する。
代わりに、分離された訓練目標とともに、分離された光線と距離の表現を採用する。
論文 参考訳(メタデータ) (2026-09-08T19:45:58Z) - Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs [62.865932175477035]
計量3Dオブジェクト検出は、エンボディエージェントのコア機能であるが、最も信頼性の高いシステムは深度センサーに頼っている。
提案するMap-Det3Dは,RGBから再構成した3次元空間に直接検出を行うオンラインマルチビュー3Dオブジェクト検出モデルである。
論文 参考訳(メタデータ) (2026-08-12T15:33:42Z) - Leveraging Previous-Traversal Point Cloud Map Priors for Camera-Based 3D Object Detection and Tracking [15.914966195454403]
我々はDualViewMapDetを提案する。DualViewMapDetはカメラのみの推論フレームワークで、オンラインでマップの先行情報を検索する。
鍵となるアイデアは、片側ビュー変換を避けるデュアルスペースカメラマップ融合戦略である。
コードと事前トレーニングされたモデルはhttps://dualviewmapdet.cs.uni-freiburg.deで公開しています。
論文 参考訳(メタデータ) (2026-04-28T09:16:44Z) - Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors [47.080898117231435]
幾何学制御可能な3Dアセットとシーン生成にポイントクラウドを活用できる拡散ベースのフレームワークであるPoints-to-3Dを紹介する。
TRELLISフレームワーク内で、グローバルな構造的インペイントを学習するために設計されたタスク固有データに基づいてトレーニングされた構造的インペイントネットワークを用いて、ステージ化されたサンプリング戦略を用いて推論を行う。
オブジェクトとシーンシナリオの両方の実験は、レンダリング品質と幾何学的忠実度の観点から、最先端のベースラインよりも優れたパフォーマンスを一貫して示している。
論文 参考訳(メタデータ) (2026-03-19T11:33:27Z) - Dynamic Point Maps: A Versatile Representation for Dynamic 3D Reconstruction [56.32589034046427]
本研究では,ダイナミックポイントマップ(DPM)を導入し,モーションセグメンテーション,シーンフロー推定,3次元物体追跡,2次元対応などの4次元タスクをサポートする標準点マップを拡張した。
我々は,合成データと実データを組み合わせたDPM予測器を訓練し,映像深度予測,ダイナミックポイントクラウド再構成,3次元シーンフロー,オブジェクトポーズ追跡,最先端性能の達成など,様々なベンチマークで評価する。
論文 参考訳(メタデータ) (2025-03-20T16:41:50Z) - VGGT: Visual Geometry Grounded Transformer [61.37669770946458]
VGGTは、シーンのすべての重要な3D属性を直接推論するフィードフォワードニューラルネットワークである。
ネットワークは、複数の3Dタスクで最先端の結果を達成する。
論文 参考訳(メタデータ) (2025-03-14T17:59:47Z) - DoubleTake: Geometry Guided Depth Estimation [17.464549832122714]
RGB画像の列から深度を推定することは、基本的なコンピュータビジョンタスクである。
本稿では,現在のカメラ位置から深度マップとして描画された,ボリューム特徴と先行幾何学のヒントを組み合わせた再構成手法を提案する。
本手法は, オフライン・インクリメンタルな評価シナリオにおいて, 対話的な速度, 最先端の深度推定, および3次元シーンで動作可能であることを示す。
論文 参考訳(メタデータ) (2024-06-26T14:29:05Z) - Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。
以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
論文 参考訳(メタデータ) (2021-04-21T00:35:32Z) - ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object
Detection [69.68263074432224]
ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。
ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。
さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
論文 参考訳(メタデータ) (2020-03-01T17:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。