論文の概要: LangSurf: Language-Embedded Surface Gaussians for 3D Scene Understanding

• arxiv url: http://arxiv.org/abs/2412.17635v1
• Date: Mon, 23 Dec 2024 15:12:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:49.552773
• Title: LangSurf: Language-Embedded Surface Gaussians for 3D Scene Understanding
• Title（参考訳）: LangSurf: 3Dシーン理解のための言語組み込みサーフェスガウス
• Authors: Hao Li, Roy Qin, Zhengyu Zou, Diqi He, Bohan Li, Bingquan Dai, Dingewn Zhang, Junwei Han,
• Abstract要約: LangSurfは3D言語フィールドとオブジェクトの表面を整列する言語組み込みのSurface Fieldである。 提案手法は,オブジェクトを3次元空間に分割することで,インスタンス認識,削除,編集におけるアプローチの有効性を高めることができる。
• 参考スコア（独自算出の注目度）: 42.750252190275546
• License:
• Abstract: Applying Gaussian Splatting to perception tasks for 3D scene understanding is becoming increasingly popular. Most existing works primarily focus on rendering 2D feature maps from novel viewpoints, which leads to an imprecise 3D language field with outlier languages, ultimately failing to align objects in 3D space. By utilizing masked images for feature extraction, these approaches also lack essential contextual information, leading to inaccurate feature representation. To this end, we propose a Language-Embedded Surface Field (LangSurf), which accurately aligns the 3D language fields with the surface of objects, facilitating precise 2D and 3D segmentation with text query, widely expanding the downstream tasks such as removal and editing. The core of LangSurf is a joint training strategy that flattens the language Gaussian on the object surfaces using geometry supervision and contrastive losses to assign accurate language features to the Gaussians of objects. In addition, we also introduce the Hierarchical-Context Awareness Module to extract features at the image level for contextual information then perform hierarchical mask pooling using masks segmented by SAM to obtain fine-grained language features in different hierarchies. Extensive experiments on open-vocabulary 2D and 3D semantic segmentation demonstrate that LangSurf outperforms the previous state-of-the-art method LangSplat by a large margin. As shown in Fig.~\ref{fig:teaser}, our method is capable of segmenting objects in 3D space, thus boosting the effectiveness of our approach in instance recognition, removal, and editing, which is also supported by comprehensive experiments. \url{https://langsurf.github.io}{Project Page}.
• Abstract（参考訳）: ガウススプラッティングを3Dシーン理解のための知覚タスクに適用することは、ますます人気が高まっている。 既存の作業の多くは、新しい視点から2D機能マップをレンダリングすることに重点を置いている。 マスク付き画像を特徴抽出に利用することにより、これらのアプローチには重要なコンテキスト情報がなく、不正確な特徴表現につながる。 この目的のために,Language-Embedded Surface Field (LangSurf) を提案する。Language-Embedded Surface Field (LangSurf) は,3次元言語フィールドとオブジェクトの表面を正確に整列し,テキストクエリによる正確な2次元および3次元セグメンテーションを容易にし,削除や編集といった下流タスクを広く展開する。 LangSurfの中核は、幾何学的監督と対照的な損失を用いて、オブジェクトのガウス語に正確な言語特徴を割り当てることで、オブジェクト表面のガウス語をフラットにする共同トレーニング戦略である。 さらに、階層的コンテキスト認識モジュールを導入して、文脈情報のための画像レベルの特徴を抽出し、SAMによって分割されたマスクを用いて階層的なマスクプーリングを行い、異なる階層におけるきめ細かい言語特徴を得る。 オープン語彙2Dと3Dセマンティックセマンティックセグメンテーションの広範な実験は、LangSurfが従来の最先端手法であるLangSplatよりも大きなマージンで優れていることを示した。 Fig ~\ref{fig:teaser} に示すように,本手法はオブジェクトを3次元空間に分割し,インスタンス認識,削除,編集におけるアプローチの有効性を高める。 \url{https://langsurf.github.io}{Project Page}

関連論文リスト

• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• RefMask3D: Language-Guided Transformer for 3D Referring Segmentation [32.11635464720755]
  RefMask3Dは、総合的なマルチモーダル機能インタラクションと理解を探求することを目的としている。 RefMask3Dは、挑戦的なScanReferデータセットにおいて、3.16% mIoUの大きなマージンで、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-25T17:58:03Z)
• GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
  3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。 GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。 提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
  論文  参考訳（メタデータ） (2024-05-27T18:57:18Z)
• Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model [108.35777542298224]
  本稿では,包括的3次元理解のための新しい大規模言語モデルReason3Dを紹介する。 拡張シーン内の小さな物体を見つけるための階層型マスクデコーダを提案する。 大規模なScanNetとMatterport3Dデータセットにおいて、Reason3Dが顕著な結果が得られることを検証する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:41Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
  セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。 既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。 我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
  論文  参考訳（メタデータ） (2024-03-22T21:28:19Z)
• Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding [2.517953665531978]
  オープン語彙クエリタスクのための新しいシーン表現であるLanguage Embedded 3D Gaussiansを紹介する。 我々の表現は、現在の言語埋め込み表現において、最高の視覚的品質と言語クエリの精度を達成する。
  論文  参考訳（メタデータ） (2023-11-30T11:50:07Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。