論文の概要: See and Detect: Image-Driven Open-Vocabulary Multi-View 3D Object Detection
- arxiv url: http://arxiv.org/abs/2611.17897v1
- Date: Fri, 13 Nov 2026 08:34:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.338896
- Title: See and Detect: Image-Driven Open-Vocabulary Multi-View 3D Object Detection
- Title(参考訳): 画像駆動型オープンボキャブラリ多視点3次元物体検出
- Abstract要約: 本稿では,3Dボックスとセマンティックラベル生成の主要な証拠として,多視点画像を用いた画像駆動型フレームワークであるSee and Detectについて述べる。
セマンティックラベル生成には、コンテキスト認識型セマンティックラーニングを導入し、セマンティックラベルをフルイメージコンテキストから検索する。
本手法は,従来の最先端手法よりも500ドル以上高速に動作しながら,最先端のオープン・ボキャブラリマルチビュー3D検出性能を実現する。
- 参考スコア(独自算出の注目度): 51.051846016470186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent open-vocabulary multi-view indoor 3D detection methods typically follow a point-cloud-driven pipeline, where pseudo 3D boxes are generated from reconstructed or estimated geometry and semantic labels are inferred from projected regions. However, such a design makes box generation dependent on the completeness of point clouds and restricts semantic learning to local appearance, causing inferior 3D object localization and open-vocabulary classification. In this paper, we present See and Detect, an image-driven framework that uses multi-view images as the primary evidence for 3D box and semantic label generation. For box generation, we first discover object candidates from individual images, enabling objects missing in point clouds to be recovered from visual evidence. However, single-view predictions are often noisy and redundant. To address this, we propose multi-view consensus box consolidation to fuse spatially consistent predictions across views, and box quality assessment to reduce the impact of boxes with partial object coverage. For semantic label generation, we introduce context-aware semantic learning, where semantic labels are queried from full image context, enabling more accurate semantic prediction. Extensive experiments on ScanNet and ARKitScenes demonstrate that our method achieves state-of-the-art open-vocabulary multi-view 3D detection performance while running over 500$\times$ faster than the previous state-of-the-art method.
- Abstract(参考訳): 最近のオープン・ボキャブラリ・マルチビュー・屋内3D検出手法は、通常、点クラウド駆動のパイプラインに従っており、擬似3Dボックスは、再構成された、または推定された幾何から生成され、投影された領域からセマンティックラベルが推測される。
しかし、このような設計は点雲の完全性に依存し、意味学習を局所的な外観に制限し、3Dオブジェクトのローカライゼーションやオープン語彙分類を引き起こす。
本稿では,3Dボックスとセマンティックラベル生成の主要な証拠として,多視点画像を用いた画像駆動型フレームワークであるSee and Detectを提案する。
ボックス生成では、まず個々の画像からオブジェクト候補を発見し、ポイントクラウドに欠けているオブジェクトを視覚的証拠から回収する。
しかし、単一ビューの予測は、しばしば騒々しく、冗長である。
そこで本稿では,空間的に一貫した予測をビュー全体に融合するマルチビューコンセンサスボックスの統合と,部分的対象カバレッジを持つボックスの影響を低減するためのボックス品質評価を提案する。
セマンティックラベル生成には、コンテキスト認識型セマンティックラーニングを導入し、セマンティックラベルをフルイメージコンテキストからクエリし、より正確なセマンティック予測を可能にする。
ScanNetとARKitScenesの大規模な実験により,従来の最先端手法よりも500$\times以上高速に動作しながら,最先端のオープン・ボキャブラリー・マルチビュー3D検出性能を実現することができた。
関連論文リスト
- Object2Scene: Putting Objects in Context for Open-Vocabulary 3D
Detection [24.871590175483096]
ポイントクラウドベースのオープンボキャブラリ3Dオブジェクト検出は、トレーニングセットに地味なアノテーションを持たない3Dカテゴリを検出することを目的としている。
従来のアプローチでは、3Dとカテゴリのセマンティクスの橋渡しとして、大規模にリッチな注釈付き画像データセットを活用していた。
本研究では,大規模大語彙の3Dオブジェクトデータセットを活用する最初のアプローチであるObject2Sceneを提案し,オープンな3Dオブジェクト検出のために既存の3Dシーンデータセットを拡張する。
論文 参考訳(メタデータ) (2023-09-18T03:31:53Z) - SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。
以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。
これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
論文 参考訳(メタデータ) (2023-08-26T07:38:21Z) - Open-Vocabulary Point-Cloud Object Detection without 3D Annotation [62.18197846270103]
オープン語彙の3Dポイントクラウド検出の目的は、任意のテキスト記述に基づいて新しいオブジェクトを識別することである。
様々な物体を局所化するための一般的な表現を学習できる点クラウド検出器を開発した。
また,画像,点雲,テキストのモダリティを結合する,非偏差三重項クロスモーダルコントラスト学習を提案する。
論文 参考訳(メタデータ) (2023-04-03T08:22:02Z) - ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with
GPT and Prototype Guidance [48.748738590964216]
視覚的グラウンドティングのための多視点フレームワークであるViewReferを提案する。
テキストブランチでは、ViewReferは単一の接地テキストを複数の幾何学的な記述に拡張する。
3次元モードでは、ビュー間でのオブジェクトの相互作用を促進するために、ビュー間の注意を伴うトランスフォーマー融合モジュールが導入された。
論文 参考訳(メタデータ) (2023-03-29T17:59:10Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳(メタデータ) (2022-09-13T05:26:09Z) - Scatter Points in Space: 3D Detection from Multi-view Monocular Images [8.71944437852952]
単眼画像からの3次元物体検出は,コンピュータビジョンの課題であり,長年の課題である。
近年の手法では, 空間に密集した正規3次元格子をサンプリングすることにより, マルチビュー特性を集約する傾向にある。
そこで本研究では,データ空間に擬似曲面点を散布し,データの分散性を維持するための学習可能なキーポイントサンプリング手法を提案する。
論文 参考訳(メタデータ) (2022-08-31T09:38:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。