論文の概要: Masked Point-Entity Contrast for Open-Vocabulary 3D Scene Understanding

• arxiv url: http://arxiv.org/abs/2504.19500v1
• Date: Mon, 28 Apr 2025 05:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.337544
• Title: Masked Point-Entity Contrast for Open-Vocabulary 3D Scene Understanding
• Title（参考訳）: オープン・ボキャブラリ3次元シーン理解のためのマスケプ・ポイント・エンティティ・コントラスト
• Authors: Yan Wang, Baoxiong Jia, Ziyu Zhu, Siyuan Huang,
• Abstract要約: MPECはオープンな3次元セマンティックセグメンテーションのための新しい学習手法である。 3Dエンティティ言語アライメントと、異なるポイントクラウドビュー間でのポイントエンテント一貫性の両方を使用する。 本手法は,オープンな3次元セマンティックセマンティックセグメンテーションのためのScanNetの最先端結果を実現する。
• 参考スコア（独自算出の注目度）: 31.40722103849691
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Open-vocabulary 3D scene understanding is pivotal for enhancing physical intelligence, as it enables embodied agents to interpret and interact dynamically within real-world environments. This paper introduces MPEC, a novel Masked Point-Entity Contrastive learning method for open-vocabulary 3D semantic segmentation that leverages both 3D entity-language alignment and point-entity consistency across different point cloud views to foster entity-specific feature representations. Our method improves semantic discrimination and enhances the differentiation of unique instances, achieving state-of-the-art results on ScanNet for open-vocabulary 3D semantic segmentation and demonstrating superior zero-shot scene understanding capabilities. Extensive fine-tuning experiments on 8 datasets, spanning from low-level perception to high-level reasoning tasks, showcase the potential of learned 3D features, driving consistent performance gains across varied 3D scene understanding tasks. Project website: https://mpec-3d.github.io/
• Abstract（参考訳）: オープンボキャブラリの3Dシーン理解は、実世界の環境の中で、エンボディエージェントが動的に解釈し、相互作用できるようにするため、物理的な知性を高めるために重要である。 本稿では,オープンな3次元セマンティックセマンティックセグメンテーションのための,新しいMasked Point-Entity Contrastive Learning法であるMPECを紹介した。 ScanNetの3Dセマンティックセマンティックセグメンテーションの最先端化と、ゼロショットシーン理解能力の向上を図り、セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティクスの手法により、セマンティック・セマンティック・セマンティクスの精度を高め、ユニークなインスタンスの区別を高める。 8つのデータセットに対する大規模な微調整実験は、低レベルな認識から高レベルな推論タスクまで、学習された3D機能の可能性を示し、さまざまな3Dシーン理解タスク間で一貫したパフォーマンス向上を推進している。 プロジェクトウェブサイト:https://mpec-3d.github.io/

関連論文リスト

• NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation [14.046423852723615]
  本稿では,3次元ガウシアン・スプレイティングに基づくハードビジュアル・プロンプト手法を導入し,対象物に関する多様な視点を創出する。 提案手法は現実的な3次元視点をシミュレートし,既存のハード・ビジュアル・プロンプトを効果的に増強する。 このトレーニングフリー戦略は、事前のハード・ビジュアル・プロンプトとシームレスに統合され、オブジェクト記述的特徴が強化される。
  論文  参考訳（メタデータ） (2025-04-20T14:39:27Z)
• 3D Scene Graph Guided Vision-Language Pre-training [11.131667398927394]
  3次元視覚言語推論(VL)は、3次元物理世界を自然言語記述で橋渡しする可能性から注目されている。 既存のアプローチは通常、タスク固有の高度に専門化されたパラダイムに従う。 本稿では,3次元シーングラフ誘導型視覚言語事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-27T16:10:44Z)
• UniM-OV3D: Uni-Modality Open-Vocabulary 3D Scene Understanding with Fine-Grained Feature Representation [46.998093729036334]
  我々は,UniM-OV3Dという,マルチモーダルなオープン・ボキャブラリ・シーン理解ネットワークを提案する。 ポイントクラウドのグローバル機能とローカル機能をよりよく統合するために、階層的なポイントクラウド機能抽出モジュールを設計する。 キャプションからの粗い点列表現の学習を容易にするために,階層型3Dキャプションペアの利用を提案する。
  論文  参考訳（メタデータ） (2024-01-21T04:13:58Z)
• Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• Weakly Supervised 3D Open-vocabulary Segmentation [104.07740741126119]
  学習済み基礎モデルCLIPとDINOを弱教師付きで活用することで,3次元オープン語彙セグメンテーションの課題に取り組む。 我々はCLIPとDINOのオープン語彙多様知識とオブジェクト推論能力をニューラルラディアンス場(NeRF)に蒸留する。 提案手法の特筆すべき点は,基礎モデルや蒸留プロセスに手動セグメンテーションアノテーションを必要としない点である。
  論文  参考訳（メタデータ） (2023-05-23T14:16:49Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• PLA: Language-Driven Open-Vocabulary 3D Scene Understanding [57.47315482494805]
  オープン語彙シーン理解は、アノテートされたラベル空間を超えて見えないカテゴリをローカライズし、認識することを目的としている。 最近の2次元オープン語彙認識のブレークスルーは、リッチな語彙概念を持つインターネットスケールのペア画像テキストデータによって駆動される。 本稿では,3次元からの多視点画像のキャプションにより,事前学習された視覚言語(VL)基盤モデルに符号化された知識を抽出することを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。