論文の概要: 3D Open-vocabulary Segmentation with Foundation Models
- arxiv url: http://arxiv.org/abs/2305.14093v2
- Date: Wed, 24 May 2023 09:18:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 10:44:02.333862
- Title: 3D Open-vocabulary Segmentation with Foundation Models
- Title(参考訳): 基礎モデルを用いた3次元オープン語彙セグメンテーション
- Authors: Kunhao Liu, Fangneng Zhan, Jiahui Zhang, Muyu Xu, Yingchen Yu,
Abdulmotaleb El Saddik, Christian Theobalt, Eric Xing, Shijian Lu
- Abstract要約: 学習済み基礎モデルCLIPとDINOのオープン語彙多様知識とオブジェクト推論能力を活用することで,3次元オープン語彙セグメンテーションの課題に取り組む。
具体的には,CLIPからのオープンボキャブラリ知識とテキスト知識をニューラルラディアンス場(NeRF)に蒸留し,2次元特徴をビュー一貫性の3Dセグメンテーションに効果的に持ち上げる。
我々の手法は、セグメンテーションアノテーションで訓練された完全教師付きモデルよりも優れています。
- 参考スコア(独自算出の注目度): 88.59157211298258
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Open-vocabulary segmentation of 3D scenes is a fundamental function of human
perception and thus a crucial objective in computer vision research. However,
this task is heavily impeded by the lack of large-scale and diverse 3D
open-vocabulary segmentation datasets for training robust and generalizable
models. Distilling knowledge from pre-trained 2D open-vocabulary segmentation
models helps but it compromises the open-vocabulary feature significantly as
the 2D models are mostly finetuned with close-vocabulary datasets. We tackle
the challenges in 3D open-vocabulary segmentation by exploiting the
open-vocabulary multimodal knowledge and object reasoning capability of
pre-trained foundation models CLIP and DINO, without necessitating any
fine-tuning. Specifically, we distill open-vocabulary visual and textual
knowledge from CLIP into a neural radiance field (NeRF) which effectively lifts
2D features into view-consistent 3D segmentation. Furthermore, we introduce the
Relevancy-Distribution Alignment loss and Feature-Distribution Alignment loss
to respectively mitigate the ambiguities of CLIP features and distill precise
object boundaries from DINO features, eliminating the need for segmentation
annotations during training. Extensive experiments show that our method even
outperforms fully supervised models trained with segmentation annotations,
suggesting that 3D open-vocabulary segmentation can be effectively learned from
2D images and text-image pairs.
- Abstract(参考訳): 3Dシーンのオープンボキャブラリセグメンテーションは人間の知覚の基本的な機能であり、コンピュータビジョン研究において重要な目的である。
しかし、このタスクは、堅牢で一般化可能なモデルをトレーニングするための大規模で多様な3dopen-vocabulary segmentationデータセットの欠如によって大きく妨げられている。
事前訓練された2Dオープン語彙セグメンテーションモデルからの知識の希釈は役立つが、2Dモデルは概ね近接語彙データセットで微調整されているため、オープン語彙の特徴を著しく損なう。
我々は,事前学習された基礎モデル clip と dino のオープンボキャブラリなマルチモーダル知識とオブジェクト推論能力を活用し,微調整を必要とせずに,3次元オープンボキャブラリセグメンテーションの課題に取り組む。
具体的には,CLIPからのオープンボキャブラリ知識とテキスト知識をニューラルラディアンス場(NeRF)に蒸留し,2次元特徴をビュー一貫性の3Dセグメンテーションに効果的に持ち上げる。
さらに,CLIP特徴のあいまいさを軽減し,DINO特徴から正確なオブジェクト境界を抽出し,トレーニング中にセグメンテーションアノテーションを不要にするため,Relevancy-Distribution Alignment LosとFeature-Distriion Alignment Losを導入する。
大規模な実験により,本手法はセグメンテーションアノテーションで訓練した完全教師付きモデルよりも優れており,2次元画像とテキストイメージペアから3次元オープン語彙セグメンテーションを効果的に学習できることが示唆された。
関連論文リスト
- GOV-NeSF: Generalizable Open-Vocabulary Neural Semantic Fields [50.68719394443926]
Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)は、オープン語彙意味論による3Dシーンの一般化可能な暗黙的表現を提供する新しいアプローチである。
GOV-NeSFは2次元および3次元のオープン語彙セマンティックセマンティックセグメンテーションにおいて最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2024-04-01T05:19:50Z) - POP-3D: Open-Vocabulary 3D Occupancy Prediction from Images [32.33170182669095]
入力された2次元画像からオープンな3次元セマンティックなボクセル占有マップを推定する手法について述べる。
アーキテクチャは、2D-3Dエンコーダと、占有率予測と3D言語ヘッドで構成されている。
出力は3次元接地言語埋め込みの密度の高いボクセルマップであり、様々なオープン語彙タスクを可能にする。
論文 参考訳(メタデータ) (2024-01-17T18:51:53Z) - 3D Open-Vocabulary Panoptic Segmentation with 2D-3D Vision-Language Distillation [40.49322398635262]
本稿では,3次元オープンボキャブラリパノプタセグメンテーションのための最初の手法を提案する。
我々のモデルは、学習可能なLiDAR機能と密集した凍結視覚CLIP機能との融合を利用する。
本稿では,オブジェクトレベルの蒸留損失とボクセルレベルの蒸留損失の2つの新しい損失関数を提案する。
論文 参考訳(メタデータ) (2024-01-04T18:39:32Z) - FM-OV3D: Foundation Model-based Cross-modal Knowledge Blending for
Open-Vocabulary 3D Detection [40.965892255504144]
FM-OV3Dは、オープンボキャブラリ3D検出のための基礎モデルに基づくクロスモーダル知識ブレンディングの手法である。
我々は,GPT-3や安定拡散モデル,CLIPのような相互識別モデルなど,生成基盤モデルの知識を活用している。
実験により,本モデルは複数の基礎モデルから知識を効率よく学習し,3次元モデルの開語彙能力を向上させることが確認された。
論文 参考訳(メタデータ) (2023-12-22T06:34:23Z) - Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳(メタデータ) (2023-11-03T15:41:15Z) - Panoptic Vision-Language Feature Fields [27.209602602110916]
オープンボキャブラリパノプティックセグメンテーションのための第1のアルゴリズムを3次元シーンで提案する。
本アルゴリズムは,事前学習した2次元モデルから視覚言語の特徴を抽出することにより,シーンの意味的特徴場を学習する。
提案手法は,HyperSim, ScanNet, Replicaデータセット上の最先端のクローズドセット3Dシステムと同様のパノプティカルセグメンテーション性能を実現する。
論文 参考訳(メタデータ) (2023-09-11T13:41:27Z) - OpenMask3D: Open-Vocabulary 3D Instance Segmentation [84.58747201179654]
OpenMask3Dはオープンな3Dインスタンスセグメンテーションのためのゼロショットアプローチである。
私たちのモデルは、CLIPベースの画像埋め込みのマルチビュー融合により、マスクごとの特徴を集約する。
論文 参考訳(メタデータ) (2023-06-23T17:36:44Z) - PLA: Language-Driven Open-Vocabulary 3D Scene Understanding [57.47315482494805]
オープン語彙シーン理解は、アノテートされたラベル空間を超えて見えないカテゴリをローカライズし、認識することを目的としている。
最近の2次元オープン語彙認識のブレークスルーは、リッチな語彙概念を持つインターネットスケールのペア画像テキストデータによって駆動される。
本稿では,3次元からの多視点画像のキャプションにより,事前学習された視覚言語(VL)基盤モデルに符号化された知識を抽出することを提案する。
論文 参考訳(メタデータ) (2022-11-29T15:52:22Z) - OpenScene: 3D Scene Understanding with Open Vocabularies [73.1411930820683]
従来の3Dシーン理解アプローチは、単一のタスクのためにモデルをトレーニングするためのラベル付き3Dデータセットに依存している。
私たちは,CLIP機能空間にテキストと画像ピクセルを埋め込んだ3次元シーンポイントの高密度な特徴をモデルが予測する代替手法OpenSceneを提案する。
このゼロショットアプローチは、タスク非依存のトレーニングとオープン語彙クエリを可能にする。
論文 参考訳(メタデータ) (2022-11-28T18:58:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。