論文の概要: Object2Scene: Putting Objects in Context for Open-Vocabulary 3D Detection

• arxiv url: http://arxiv.org/abs/2309.09456v1
• Date: Mon, 18 Sep 2023 03:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 15:24:25.501002
• Title: Object2Scene: Putting Objects in Context for Open-Vocabulary 3D Detection
• Title（参考訳）: Object2Scene:Open-Vocabulary 3D Detectionのためのコンテキストにオブジェクトを置く
• Authors: Chenming Zhu, Wenwei Zhang, Tai Wang, Xihui Liu and Kai Chen
• Abstract要約: ポイントクラウドベースのオープンボキャブラリ3Dオブジェクト検出は、トレーニングセットに地味なアノテーションを持たない3Dカテゴリを検出することを目的としている。 従来のアプローチでは、3Dとカテゴリのセマンティクスの橋渡しとして、大規模にリッチな注釈付き画像データセットを活用していた。 本研究では,大規模大語彙の3Dオブジェクトデータセットを活用する最初のアプローチであるObject2Sceneを提案し,オープンな3Dオブジェクト検出のために既存の3Dシーンデータセットを拡張する。
• 参考スコア（独自算出の注目度）: 24.871590175483096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud-based open-vocabulary 3D object detection aims to detect 3D categories that do not have ground-truth annotations in the training set. It is extremely challenging because of the limited data and annotations (bounding boxes with class labels or text descriptions) of 3D scenes. Previous approaches leverage large-scale richly-annotated image datasets as a bridge between 3D and category semantics but require an extra alignment process between 2D images and 3D points, limiting the open-vocabulary ability of 3D detectors. Instead of leveraging 2D images, we propose Object2Scene, the first approach that leverages large-scale large-vocabulary 3D object datasets to augment existing 3D scene datasets for open-vocabulary 3D object detection. Object2Scene inserts objects from different sources into 3D scenes to enrich the vocabulary of 3D scene datasets and generates text descriptions for the newly inserted objects. We further introduce a framework that unifies 3D detection and visual grounding, named L3Det, and propose a cross-domain category-level contrastive learning approach to mitigate the domain gap between 3D objects from different datasets. Extensive experiments on existing open-vocabulary 3D object detection benchmarks show that Object2Scene obtains superior performance over existing methods. We further verify the effectiveness of Object2Scene on a new benchmark OV-ScanNet-200, by holding out all rare categories as novel categories not seen during training.
• Abstract（参考訳）: point cloudベースのopen-vocabulary 3d object detectionは、トレーニングセットに基底アノテーションを持たない3dカテゴリの検出を目的としている。 3Dシーンの制限されたデータとアノテーション(クラスラベルやテキスト記述付きのバウンディングボックス)のため、非常に難しい。 従来のアプローチでは、大規模なリッチな注釈付きイメージデータセットを3Dとカテゴリセマンティクスの橋渡しとして活用するが、2Dイメージと3Dポイントの間に余分なアライメントプロセスを必要とし、3D検出器のオープン語彙能力を制限する。 2d画像を活用する代わりに,大規模な3dオブジェクトデータセットを活用した最初のアプローチであるobject2sceneを提案する。 Object2Sceneは、異なるソースからのオブジェクトを3Dシーンに挿入し、3Dシーンデータセットの語彙を強化し、新たに挿入されたオブジェクトのテキスト記述を生成する。 さらに,l3detと呼ばれる3d検出と視覚的接地を統合するフレームワークを導入し,異なるデータセットからの3dオブジェクト間のドメイン間ギャップを緩和するクロスドメインカテゴリレベルのコントラスト学習手法を提案する。 既存のopen-vocabulary 3d object detectionベンチマークに関する広範囲な実験は、object2sceneが既存のメソッドよりも優れたパフォーマンスを得ることを示している。 我々は,新しいベンチマークOV-ScanNet-200におけるObject2Sceneの有効性をさらに検証する。

関連論文リスト

• Weakly-Supervised 3D Scene Graph Generation via Visual-Linguistic Assisted Pseudo-labeling [9.440800948514449]
  視覚言語支援擬似ラベルを用いた弱教師付き3次元シーングラフ生成法を提案する。 我々の3D-VLAPは、テキストと2D画像のセマンティクスを調整するために、現在の大規模視覚言語モデルの優れた能力を利用する。 エッジ自己アテンションに基づくグラフニューラルネットワークを設計し、3Dポイントクラウドシーンのシーングラフを生成する。
  論文  参考訳（メタデータ） (2024-04-03T07:30:09Z)
• InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes [86.26588382747184]
  InseRFは3次元シーンのNeRF再構成において生成物挿入のための新しい手法である。 ユーザが提供するテキスト記述と参照視点での2Dバウンディングボックスに基づいて、InseRFは3Dシーンで新しいオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-01-10T18:59:53Z)
• Weakly-Supervised 3D Visual Grounding based on Visual Linguistic Alignment [26.858034573776198]
  視覚言語アライメントに基づく3次元視覚接地のための弱教師付きアプローチを提案する。 我々の3D-VLAは、テキストと2D画像のセマンティクスの整合性において、現在の大規模視覚言語モデルの優れた能力を利用する。 推論段階では、学習したテキスト3D対応は、2D画像がなくてもテキストクエリを3D対象オブジェクトにグラウンド化するのに役立ちます。
  論文  参考訳（メタデータ） (2023-12-15T09:08:14Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)
• Graph-DETR3D: Rethinking Overlapping Regions for Multi-View 3D Object Detection [17.526914782562528]
  グラフ構造学習(GSL)による多視点画像情報を自動的に集約するグラフDETR3Dを提案する。 我々の最良のモデルは、nuScenesテストリーダーボード上で49.5 NDSを達成し、様々な画像ビュー3Dオブジェクト検出器と比較して新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2022-04-25T12:10:34Z)
• HyperDet3D: Learning a Scene-conditioned 3D Object Detector [154.84798451437032]
  本研究では3次元物体検出のためのシーン条件付き事前知識を探索するためにHyperDet3Dを提案する。 我々のHyperDet3Dは、ScanNetとSUN RGB-Dデータセットの3Dオブジェクト検出ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-04-12T07:57:58Z)
• Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
  我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。 我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
  論文  参考訳（メタデータ） (2022-03-25T00:20:31Z)
• Weakly Supervised 3D Object Detection from Point Clouds [27.70180601788613]
  3Dオブジェクト検出は、特定のクラスに属するオブジェクトの3D境界ボックスを検出し、ローカライズすることを目的としている。 既存の3Dオブジェクト検出器は、トレーニング中にアノテーション付き3Dバウンディングボックスに依存している。 基礎となる真理3D境界ボックスを使わずに点雲からの3Dオブジェクト検出を弱教師付きで行うためのフレームワークであるVS3Dを提案する。
  論文  参考訳（メタデータ） (2020-07-28T03:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。