論文の概要: Unlocking Textual and Visual Wisdom: Open-Vocabulary 3D Object Detection Enhanced by Comprehensive Guidance from Text and Image

• arxiv url: http://arxiv.org/abs/2407.05256v2
• Date: Wed, 17 Jul 2024 16:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 21:38:02.833071
• Title: Unlocking Textual and Visual Wisdom: Open-Vocabulary 3D Object Detection Enhanced by Comprehensive Guidance from Text and Image
• Title（参考訳）: アンロックされたテキストと視覚の知恵: テキストと画像からの包括的誘導によるオープンボキャブラリ3次元物体検出
• Authors: Pengkun Jiao, Na Zhao, Jingjing Chen, Yu-Gang Jiang,
• Abstract要約: Open-vocabulary 3D object detection (OV-3DDet) は、新しい3Dシーン内において、目に見えないものの両方をローカライズし、認識することを目的としている。 視覚基盤モデルを利用して、3Dシーンにおける新しいクラスを発見するための画像的ガイダンスを提供する。 オープン語彙の3Dオブジェクト検出における基礎モデルの可能性を明らかにするとともに,精度と一般化の大幅な向上を示す。
• 参考スコア（独自算出の注目度）: 70.02187124865627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary 3D object detection (OV-3DDet) aims to localize and recognize both seen and previously unseen object categories within any new 3D scene. While language and vision foundation models have achieved success in handling various open-vocabulary tasks with abundant training data, OV-3DDet faces a significant challenge due to the limited availability of training data. Although some pioneering efforts have integrated vision-language models (VLM) knowledge into OV-3DDet learning, the full potential of these foundational models has yet to be fully exploited. In this paper, we unlock the textual and visual wisdom to tackle the open-vocabulary 3D detection task by leveraging the language and vision foundation models. We leverage a vision foundation model to provide image-wise guidance for discovering novel classes in 3D scenes. Specifically, we utilize a object detection vision foundation model to enable the zero-shot discovery of objects in images, which serves as the initial seeds and filtering guidance to identify novel 3D objects. Additionally, to align the 3D space with the powerful vision-language space, we introduce a hierarchical alignment approach, where the 3D feature space is aligned with the vision-language feature space using a pre-trained VLM at the instance, category, and scene levels. Through extensive experimentation, we demonstrate significant improvements in accuracy and generalization, highlighting the potential of foundation models in advancing open-vocabulary 3D object detection in real-world scenarios.
• Abstract（参考訳）: Open-vocabulary 3D object detection (OV-3DDet) は、新しい3Dシーンで目に見えないものの両方をローカライズし、認識することを目的としている。 言語および視覚基盤モデルは、豊富なトレーニングデータで様々なオープン語彙タスクを扱うことに成功しているが、OV-3DDetは、トレーニングデータの可用性が限られているため、大きな課題に直面している。 いくつかの先駆的な取り組みは、視覚言語モデル(VLM)の知識をOV-3DDet学習に統合しているが、これらの基礎モデルの潜在能力は、まだ十分に活用されていない。 本稿では,言語と視覚基盤モデルを活用することで,オープンな3次元検出課題に取り組むために,テキストと視覚の知恵を解放する。 視覚基盤モデルを利用して、3Dシーンにおける新しいクラスを発見するための画像的ガイダンスを提供する。 具体的には、画像中の物体のゼロショット発見を可能にするために、物体検出視覚基盤モデルを使用し、初期シードとして機能し、新しい3Dオブジェクトを特定するためのフィルタリングガイダンスを提供する。 さらに,3次元空間を強力な視覚言語空間に整合させるために,実例,カテゴリ,シーンレベルでのVLMを用いて3次元特徴空間を視覚言語特徴空間に整合させる階層的アライメント手法を導入する。 広範にわたる実験を通じて,実世界のシナリオにおけるオープンな3次元物体検出の進展における基礎モデルの可能性を明らかにするとともに,精度と一般化の大幅な向上を示す。

関連論文リスト

• OpenScan: A Benchmark for Generalized Open-Vocabulary 3D Scene Understanding [43.69535335079362]
  Open-vocabulary 3D scene understanding (OV-3D)は、閉じたオブジェクトクラス以外の新しいオブジェクトをローカライズし分類することを目的としている。 既存のアプローチとベンチマークは、主にオブジェクトクラスのコンテキスト内のオープンな語彙の問題に焦点を当てている。 我々は、オブジェクトクラスを超えたオープンな語彙問題を探索するために、汎用オープン語彙3Dシーン理解(GOV-3D)と呼ばれるより困難なタスクを導入する。
  論文  参考訳（メタデータ） (2024-08-20T17:31:48Z)
• Weakly-Supervised 3D Visual Grounding based on Visual Linguistic Alignment [26.858034573776198]
  視覚言語アライメントに基づく3次元視覚接地のための弱教師付きアプローチを提案する。 我々の3D-VLAは、テキストと2D画像のセマンティクスの整合性において、現在の大規模視覚言語モデルの優れた能力を利用する。 推論段階では、学習したテキスト3D対応は、2D画像がなくてもテキストクエリを3D対象オブジェクトにグラウンド化するのに役立ちます。
  論文  参考訳（メタデータ） (2023-12-15T09:08:14Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes [68.61199623705096]
  一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。 そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
  論文  参考訳（メタデータ） (2023-06-04T11:08:53Z)
• Vision-Language Pre-training with Object Contrastive Learning for 3D Scene Understanding [47.48443919164377]
  3次元視覚言語下流タスクを柔軟に伝達するために,視覚言語事前学習フレームワークを提案する。 本稿では,セマンティック3次元シーン理解における3つの共通課題について検討し,事前学習モデルに対する重要な洞察を導出する。 実験は3つの3次元視覚言語タスクにおけるフレームワークの優れた性能を検証する。
  論文  参考訳（メタデータ） (2023-05-18T05:25:40Z)
• CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes [68.61199623705096]
  我々は,モデルが意味論的かつ伝達可能な3Dシーンポイントクラウド表現を学習するのに役立つ,新しい3D事前学習型ビジョンランゲージを設計する。 符号化された3Dシーン特徴と対応する2D画像とテキスト埋め込みとを一致させることにより、人気のあるCLIPモデルの表現力を3Dエンコーダに注入する。 我々は,3次元視覚質問応答の下流課題に対して,我々のモデルによる3次元世界推論能力を評価する。
  論文  参考訳（メタデータ） (2023-04-12T16:52:29Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。