論文の概要: Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment

• arxiv url: http://arxiv.org/abs/2312.00663v2
• Date: Wed, 19 Feb 2025 09:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:55:53.500205
• Title: Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment
• Title（参考訳）: 高速レンダリングと事前学習型ビジョンランゲージアライメントを用いた汎用ロボット3次元ビジョンランゲージモデル
• Authors: Kangcheng Liu, Yong-Jin Liu, Baoquan Chen,
• Abstract要約: 本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
• 参考スコア（独自算出の注目度）: 55.11291053011696
• License:
• Abstract: Deep neural network models have achieved remarkable progress in 3D scene understanding while trained in the closed-set setting and with full labels. However, the major bottleneck is that these models do not have the capacity to recognize any unseen novel classes beyond the training categories in diverse real-world applications. Therefore, we are in urgent need of a framework that can simultaneously be applicable to both 3D point cloud segmentation and detection, particularly in the circumstances where the labels are rather scarce. This work presents a generalized and straightforward framework for dealing with 3D scene understanding when the labeled scenes are quite limited. To extract knowledge for novel categories from the pre-trained vision-language models, we propose a hierarchical feature-aligned pre-training and knowledge distillation strategy to extract and distill meaningful information from large-scale vision-language models, which helps benefit the open-vocabulary scene understanding tasks. To encourage latent instance discrimination and to guarantee efficiency, we propose the unsupervised region-level semantic contrastive learning scheme for point clouds, using confident predictions of the neural network to discriminate the intermediate feature embeddings at multiple stages. In the limited reconstruction case, our proposed approach, termed WS3D++, ranks 1st on the large-scale ScanNet benchmark on both the task of semantic segmentation and instance segmentation. Extensive experiments with both indoor and outdoor scenes demonstrated the effectiveness of our approach in both data-efficient learning and open-world few-shot learning. The code is made publicly available at: https://drive.google.com/drive/folders/1M58V-PtR8DBEwD296zJkNg_m2qq-MTAP?usp=sharing.
• Abstract（参考訳）: ディープニューラルネットワークモデルは、クローズドセット設定とフルラベルでトレーニングしながら、3Dシーン理解において顕著な進歩を遂げている。 しかし、大きなボトルネックは、これらのモデルが、様々な現実世界のアプリケーションにおけるトレーニングカテゴリ以外の、目に見えない新しいクラスを認識する能力を持っていないことである。 したがって、特にラベルが乏しい状況において、3Dポイントクラウドのセグメンテーションと検出の両方に同時に適用可能なフレームワークを緊急に必要としています。 本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のための,汎用的で簡単なフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリの知識を抽出するために,大規模視覚言語モデルから意味のある情報を抽出・抽出する階層的特徴整合型事前学習・知識蒸留手法を提案する。 潜在インスタンスの識別を奨励し、効率性を確保するため、ニューラルネットワークの確実な予測を用いて、複数の段階における中間特徴埋め込みを識別する非教師付き領域レベル意味論的学習手法を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、セマンティックセグメンテーションとインスタンスセグメンテーションの両方のタスクにおいて、大規模ScanNetベンチマークで1位にランクインする。 室内と屋外の両方で大規模な実験を行い、データ効率の学習とオープンワールドのショット学習の両方において、我々のアプローチの有効性を実証した。 https://drive.google.com/drive/folders/1M58V-PtR8DBEwD296zJkNg_m2q-MTAP? usp=共有。

関連論文リスト

• ZeroKey: Point-Level Reasoning and Zero-Shot 3D Keypoint Detection from Large Language Models [57.57832348655715]
  3次元形状のキーポイント検出のための新しいゼロショット手法を提案する。 提案手法は,マルチモーダル大規模言語モデルに埋め込まれた豊富な知識を利用する。
  論文  参考訳（メタデータ） (2024-12-09T08:31:57Z)
• CLIPose: Category-Level Object Pose Estimation with Pre-trained Vision-Language Knowledge [18.57081150228812]
  本稿では、事前学習された視覚言語モデルを用いて、オブジェクトカテゴリ情報の学習を改善する新しい6Dポーズフレームワークを提案する。 CLIPoseは、2つの主要なベンチマークデータセットであるREAL275とCAMERA25で最先端のパフォーマンスを達成し、推論中(40FPS)にリアルタイムに実行される。
  論文  参考訳（メタデータ） (2024-02-24T05:31:53Z)
• A Review and A Robust Framework of Data-Efficient 3D Scene Parsing with Traditional/Learned 3D Descriptors [10.497309421830671]
  既存の最先端の3Dポイントクラウド理解手法は、完全に教師された方法でのみうまく機能する。 この研究は、ラベルが限定されている場合のポイントクラウド理解に取り組むための、汎用的でシンプルなフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-12-03T02:51:54Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• Weakly Supervised 3D Open-vocabulary Segmentation [104.07740741126119]
  学習済み基礎モデルCLIPとDINOを弱教師付きで活用することで,3次元オープン語彙セグメンテーションの課題に取り組む。 我々はCLIPとDINOのオープン語彙多様知識とオブジェクト推論能力をニューラルラディアンス場(NeRF)に蒸留する。 提案手法の特筆すべき点は,基礎モデルや蒸留プロセスに手動セグメンテーションアノテーションを必要としない点である。
  論文  参考訳（メタデータ） (2023-05-23T14:16:49Z)
• RegionPLC: Regional Point-Language Contrastive Learning for Open-World 3D Scene Understanding [46.253711788685536]
  複数の2次元基礎モデルから派生した3次元視覚言語対を融合する3次元認識型SFusion戦略を導入する。 我々は、堅牢で効果的な3D学習を実現するために、地域対応のポイント識別型コントラスト学習目標を考案する。 我々のモデルは、セマンティックスとインスタンスセグメンテーションにおいて、平均17.2%と9.1%の3Dオープンワールドシーン理解アプローチよりも優れている。
  論文  参考訳（メタデータ） (2023-04-03T13:30:04Z)
• CLIP-FO3D: Learning Free Open-world 3D Scene Representations from 2D Dense CLIP [19.66617835750012]
  3Dシーン理解モデルのトレーニングには、複雑な人間のアノテーションが必要である。 視覚言語による事前学習モデル(例えばCLIP)は、顕著なオープンワールド推論特性を示している。 本稿では,CLIPの特徴空間を直接3次元シーン理解モデルに変換することを提案する。
  論文  参考訳（メタデータ） (2023-03-08T17:30:58Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。