論文の概要: FM-OV3D: Foundation Model-based Cross-modal Knowledge Blending for Open-Vocabulary 3D Detection

• arxiv url: http://arxiv.org/abs/2312.14465v1
• Date: Fri, 22 Dec 2023 06:34:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 15:48:39.166752
• Title: FM-OV3D: Foundation Model-based Cross-modal Knowledge Blending for Open-Vocabulary 3D Detection
• Title（参考訳）: FM-OV3D:オープン語彙検出のための基礎モデルに基づくクロスモーダル知識ブレンディング
• Authors: Dongmei Zhang, Chang Li, Ray Zhang, Shenghao Xie, Wei Xue, Xiaodong Xie, Shanghang Zhang
• Abstract要約: FM-OV3Dは、オープンボキャブラリ3D検出のための基礎モデルに基づくクロスモーダル知識ブレンディングの手法である。 我々は,GPT-3や安定拡散モデル,CLIPのような相互識別モデルなど,生成基盤モデルの知識を活用している。 実験により,本モデルは複数の基礎モデルから知識を効率よく学習し,3次元モデルの開語彙能力を向上させることが確認された。
• 参考スコア（独自算出の注目度）: 40.965892255504144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The superior performances of pre-trained foundation models in various visual tasks underscore their potential to enhance the 2D models' open-vocabulary ability. Existing methods explore analogous applications in the 3D space. However, most of them only center around knowledge extraction from singular foundation models, which limits the open-vocabulary ability of 3D models. We hypothesize that leveraging complementary pre-trained knowledge from various foundation models can improve knowledge transfer from 2D pre-trained visual language models to the 3D space. In this work, we propose FM-OV3D, a method of Foundation Model-based Cross-modal Knowledge Blending for Open-Vocabulary 3D Detection, which improves the open-vocabulary localization and recognition abilities of 3D model by blending knowledge from multiple pre-trained foundation models, achieving true open-vocabulary without facing constraints from original 3D datasets. Specifically, to learn the open-vocabulary 3D localization ability, we adopt the open-vocabulary localization knowledge of the Grounded-Segment-Anything model. For open-vocabulary 3D recognition ability, We leverage the knowledge of generative foundation models, including GPT-3 and Stable Diffusion models, and cross-modal discriminative models like CLIP. The experimental results on two popular benchmarks for open-vocabulary 3D object detection show that our model efficiently learns knowledge from multiple foundation models to enhance the open-vocabulary ability of the 3D model and successfully achieves state-of-the-art performance in open-vocabulary 3D object detection tasks. Code is released at https://github.com/dmzhang0425/FM-OV3D.git.
• Abstract（参考訳）: 様々な視覚タスクにおける事前訓練された基礎モデルの優れた性能は、2Dモデルのオープン語彙能力を高める可能性を示している。 既存の方法は3D空間における類似の応用を探索する。 しかし、そのほとんどは特異基盤モデルからの知識抽出のみに集中しており、3次元モデルの開語彙能力を制限している。 様々な基礎モデルから相補的な事前学習知識を活用することで、2次元事前学習された視覚言語モデルから3次元空間への知識伝達を改善することができると仮定する。 本研究では,複数の事前学習基礎モデルの知識をブレンドすることで,3次元モデルのオープンな局所化と認識能力を向上し,本来の3次元データセットの制約に直面することなく真のオープンな語彙を実現する,基礎モデルに基づくクロスモーダル知識ブレンディング法FM-OV3Dを提案する。 具体的には, 開語彙3次元定位能力を学ぶために, 接地セグメンツモデルにおける開語彙定位知識を採用する。 オープン語彙の3D認識能力には,GPT-3や安定拡散モデルなどの生成基盤モデルの知識とCLIPのような相互識別モデルを活用する。 オープンボカブラリ3dオブジェクト検出のための2つの人気のあるベンチマーク実験の結果から,複数のファンデーションモデルから知識を効率的に学習し,オープンボカブラリ3dオブジェクト検出タスクにおいて,オープンボカブラリモデルのオープンボカブラリ能力を高め,最先端のパフォーマンスを達成することができた。 コードはhttps://github.com/dmzhang0425/fm-ov3d.gitでリリースされる。

関連論文リスト

• Training an Open-Vocabulary Monocular 3D Object Detection Model without 3D Data [57.53523870705433]
  我々はOVM3D-Detと呼ばれる新しいオープン語彙単分子オブジェクト検出フレームワークを提案する。 OVM3D-Detは、入力または3Dバウンディングボックスを生成するために高精度のLiDARや3Dセンサーデータを必要としない。 オープンボキャブラリ2Dモデルと擬似LiDARを使用して、RGB画像に3Dオブジェクトを自動的にラベル付けし、オープンボキャブラリ単分子3D検出器の学習を促進する。
  論文  参考訳（メタデータ） (2024-11-23T21:37:21Z)
• Unlocking Textual and Visual Wisdom: Open-Vocabulary 3D Object Detection Enhanced by Comprehensive Guidance from Text and Image [70.02187124865627]
  Open-vocabulary 3D object detection (OV-3DDet) は、新しい3Dシーン内において、目に見えないものの両方をローカライズし、認識することを目的としている。 視覚基盤モデルを利用して、3Dシーンにおける新しいクラスを発見するための画像的ガイダンスを提供する。 オープン語彙の3Dオブジェクト検出における基礎モデルの可能性を明らかにするとともに,精度と一般化の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-07-07T04:50:04Z)
• OV-Uni3DETR: Towards Unified Open-Vocabulary 3D Object Detection via Cycle-Modality Propagation [67.56268991234371]
  OV-Uni3DETRは、様々なシナリオにおける最先端のパフォーマンスを達成し、既存のメソッドを平均6%以上上回っている。 コードと事前訓練されたモデルは、後にリリースされる。
  論文  参考訳（メタデータ） (2024-03-28T17:05:04Z)
• POP-3D: Open-Vocabulary 3D Occupancy Prediction from Images [32.33170182669095]
  入力された2次元画像からオープンな3次元セマンティックなボクセル占有マップを推定する手法について述べる。 アーキテクチャは、2D-3Dエンコーダと、占有率予測と3D言語ヘッドで構成されている。 出力は3次元接地言語埋め込みの密度の高いボクセルマップであり、様々なオープン語彙タスクを可能にする。
  論文  参考訳（メタデータ） (2024-01-17T18:51:53Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Weakly Supervised 3D Open-vocabulary Segmentation [104.07740741126119]
  学習済み基礎モデルCLIPとDINOを弱教師付きで活用することで,3次元オープン語彙セグメンテーションの課題に取り組む。 我々はCLIPとDINOのオープン語彙多様知識とオブジェクト推論能力をニューラルラディアンス場(NeRF)に蒸留する。 提案手法の特筆すべき点は,基礎モデルや蒸留プロセスに手動セグメンテーションアノテーションを必要としない点である。
  論文  参考訳（メタデータ） (2023-05-23T14:16:49Z)
• Bridging the Domain Gap: Self-Supervised 3D Scene Understanding with Foundation Models [18.315856283440386]
  ファンデーションモデルは、イメージセグメンテーション、オブジェクト検出、視覚言語理解といった2Dおよび言語タスクにおいて顕著な成果を上げている。 3Dシーンの表現学習を豊かにする能力は、ドメインギャップの存在によってほとんど失われる。 そこで我々は,Bridge3Dと呼ばれる斬新な手法を提案し,特徴,セマンティックマスク,基礎モデルからのソースキャプションを用いた3Dモデルの事前学習を行った。
  論文  参考訳（メタデータ） (2023-05-15T16:36:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。