論文の概要: Open-vocabulary 3D object detection with promptable segmentation

• arxiv url: http://arxiv.org/abs/2609.19358v1
• Date: Wed, 16 Sep 2026 19:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.988787
• Title: Open-vocabulary 3D object detection with promptable segmentation
• Title（参考訳）: 素早いセグメンテーションによるオープンボキャブラリー3次元物体検出
• Abstract要約: 自律走行のための3次元物体検出は、人間の注釈付き3Dボックスの大きなコーパスで訓練された検出器によって支配される。 本稿では,その課題が学習自由でオープンな語彙で解決できるかを問う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Three-dimensional object detection for autonomous driving is dominated by detectors trained on large corpora of human-annotated 3D boxes. Such a detector learns a fixed category list, and everything outside it is invisible. This paper asks whether the task can be solved training-free and open-vocabulary. A promptable segmentation model (SAM3), queried with class names as text prompts, supplies instance masks in the vehicle's six surround-view cameras, and the masks are turned into metric 3D boxes using the geometry of the scene. The core is a controlled three-stage comparison on nuScenes in which 2D detection is held fixed and only the source of 3D geometry changes. Geometry predicted from images alone reaches 0.183 mean average precision (mAP) under the official protocol; fitting boxes from raw LiDAR points inside the same masks with training-free rules reaches 0.298 mAP / 0.348 nuScenes detection score (NDS) at zero labeling cost; borrowing supervised box geometry at inference time lifts the same detections to 0.413 mAP / 0.555 NDS, which locates the pipeline's largest deficit in measurement precision rather than 2D detection, while class confusion and confidence calibration survive that substitution. Reversing the direction, a three-state camera-witness rule built from the same masks improves a supervised LiDAR-only detector from 0.596 to 0.630 mAP, roughly half the gain of fully supervised camera fusion, with no training. A coverage analysis shows that SAM3 finds 84% of in-range objects with a correctly named mask; the classes that fail in the official metric are misnamed or geometrically unforgiving, not unseen.
• Abstract（参考訳）: 自律走行のための3次元物体検出は、人間の注釈付き3Dボックスの大きなコーパスで訓練された検出器によって支配される。 このような検出器は固定されたカテゴリリストを学習し、外部の全ては見えない。 本稿では,その課題が学習自由でオープンな語彙で解決できるかを問う。 アクセラブルセグメンテーションモデル(SAM3)は、クラス名をテキストプロンプトとしてクエリし、車両の6つのサラウンドビューカメラにインスタンスマスクを供給し、シーンの幾何学を用いてマスクをメートル法3Dボックスに変換する。 コアは2次元検出が固定され、3次元幾何学の源のみが変化するnuScenesの制御された3段階比較である。 画像のみから予測される幾何学は、公式のプロトコルの下で平均精度0.183まで達し、トレーニング不要な規則で同じマスク内の生のLiDAR点からのボックスを0.298 mAP / 0.348 nuScenes Detection score (NDS) ゼロラベルコストで固定し、推論時の教師付きボックス幾何学を借用すると、同じ検出を0.413 mAP / 0.555 NDSに引き上げる。 方向を逆転すると、同じマスクから作られた3状態カメラの知性ルールにより、LiDARのみの検出器は0.596から0.630 mAPに改善され、完全に監督されたカメラ融合の約半分は訓練なしで得られる。 カバレッジ分析の結果、SAM3は正しく命名されたマスクを持つ範囲内オブジェクトの84%を発見でき、公式なメートル法で失敗するクラスは誤って命名されるか、幾何学的に忘れられてしまう。

関連論文リスト

• Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs [62.865932175477035]
  計量3Dオブジェクト検出は、エンボディエージェントのコア機能であるが、最も信頼性の高いシステムは深度センサーに頼っている。 提案するMap-Det3Dは,RGBから再構成した3次元空間に直接検出を行うオンラインマルチビュー3Dオブジェクト検出モデルである。
  論文  参考訳（メタデータ） (2026-08-12T15:33:42Z)
• Weak Cube R-CNN: Weakly Supervised 3D Detection using only 2D Bounding Boxes [5.492174268132387]
  3Dオブジェクト検出器は通常、完全に教師された方法で訓練され、3Dラベル付きデータに大きく依存する。 この研究は、モノクラー法によるデータ要求を減らすために、弱教師付き3D検出に焦点を当てている。 本稿では,3次元の物体を推定時に予測できる一般モデルWeak Cube R-CNNを提案する。
  論文  参考訳（メタデータ） (2025-04-17T19:13:42Z)
• Training an Open-Vocabulary Monocular 3D Object Detection Model without 3D Data [57.53523870705433]
  我々はOVM3D-Detと呼ばれる新しいオープン語彙単分子オブジェクト検出フレームワークを提案する。 OVM3D-Detは、入力または3Dバウンディングボックスを生成するために高精度のLiDARや3Dセンサーデータを必要としない。 オープンボキャブラリ2Dモデルと擬似LiDARを使用して、RGB画像に3Dオブジェクトを自動的にラベル付けし、オープンボキャブラリ単分子3D検出器の学習を促進する。
  論文  参考訳（メタデータ） (2024-11-23T21:37:21Z)
• ALPI: Auto-Labeller with Proxy Injection for 3D Object Detection using 2D Labels Only [5.699475977818167]
  3Dオブジェクト検出は、自動運転車、ロボット工学、拡張現実など、さまざまな応用において重要な役割を果たす。 画像から2次元境界ボックスアノテーションにのみ依存する弱教師付き3次元アノテータを提案する。
  論文  参考訳（メタデータ） (2024-07-24T11:58:31Z)
• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• Embracing Single Stride 3D Object Detector with Sparse Transformer [63.179720817019096]
  自律走行のためのLiDARを用いた3次元物体検出では、物体サイズと入力シーンサイズとの比が2次元検出の場合に比べて有意に小さい。 多くの3D検出器は2D検出器の一般的な慣習に従っており、点雲の定量化後も特徴マップを分解する。 本稿では,SST(Single-stride Sparse Transformer)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:12:02Z)
• Anchor-free 3D Single Stage Detector with Mask-Guided Attention for Point Cloud [79.39041453836793]
  我々は、点雲をアンカーフリーで検出する新しい1段3次元検出器を開発した。 ボクセルをベースとしたスパース3D特徴量からスパース2D特徴量マップに変換することでこれを克服する。 検出信頼度スコアとバウンディングボックス回帰の精度との相関性を改善するために,IoUに基づく検出信頼度再校正手法を提案する。
  論文  参考訳（メタデータ） (2021-08-08T13:42:13Z)
• FGR: Frustum-Aware Geometric Reasoning for Weakly Supervised 3D Vehicle Detection [81.79171905308827]
  3Dアノテーションを使わずに点雲中の車両を検出するためのフラストラム対応幾何推論(FGR)を提案する。 本手法は粗い3次元セグメンテーションと3次元バウンディングボックス推定の2段階からなる。 2Dバウンディングボックスとスパースポイントクラウドだけで、3D空間内のオブジェクトを正確に検出できます。
  論文  参考訳（メタデータ） (2021-05-17T07:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。