論文の概要: ReferSplat: Referring Segmentation in 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2508.08252v1
• Date: Mon, 11 Aug 2025 17:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.25719
• Title: ReferSplat: Referring Segmentation in 3D Gaussian Splatting
• Title（参考訳）: ReferSplat: 3次元ガウススプラッティングにおけるセグメンテーションの参照
• Authors: Shuting He, Guangquan Jie, Changshuo Wang, Yun Zhou, Shuming Hu, Guanbin Li, Henghui Ding,
• Abstract要約: 3次元ガウス散乱(R3DGS)を参照 Taskは、自然言語の記述に基づいて、ターゲットオブジェクトを3Dガウスシーンにセグメントすることを目的としている。 これらの課題に対処するため,自然言語表現を用いて3次元ガウス点を明示的にモデル化するフレームワークReferSplatを提案する。
• 参考スコア（独自算出の注目度）: 60.73702075842278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Referring 3D Gaussian Splatting Segmentation (R3DGS), a new task that aims to segment target objects in a 3D Gaussian scene based on natural language descriptions, which often contain spatial relationships or object attributes. This task requires the model to identify newly described objects that may be occluded or not directly visible in a novel view, posing a significant challenge for 3D multi-modal understanding. Developing this capability is crucial for advancing embodied AI. To support research in this area, we construct the first R3DGS dataset, Ref-LERF. Our analysis reveals that 3D multi-modal understanding and spatial relationship modeling are key challenges for R3DGS. To address these challenges, we propose ReferSplat, a framework that explicitly models 3D Gaussian points with natural language expressions in a spatially aware paradigm. ReferSplat achieves state-of-the-art performance on both the newly proposed R3DGS task and 3D open-vocabulary segmentation benchmarks. Dataset and code are available at https://github.com/heshuting555/ReferSplat.
• Abstract（参考訳）: Referring 3D Gaussian Splatting Segmentation (R3DGS)は,空間的関係やオブジェクト属性を含む自然言語記述に基づいて,対象物を3D Gaussianシーンに分割することを目的とした新しいタスクである。 このタスクでは、3次元マルチモーダル理解において重要な課題となる新しい視点で、隠蔽されているか、直接見えていない可能性のある、新しく記述されたオブジェクトを特定する必要がある。 この能力の開発は、インボディードAIの推進に不可欠である。 この分野の研究を支援するため,最初のR3DGSデータセットであるRef-LERFを構築した。 解析の結果,R3DGSでは3次元マルチモーダル理解と空間関係モデリングが重要な課題であることがわかった。 これらの課題に対処するために、空間的に認識されたパラダイムで自然言語表現で3次元ガウス点を明示的にモデル化するフレームワークReferSplatを提案する。 ReferSplatは、新たに提案されたR3DGSタスクと3Dオープン語彙セグメンテーションベンチマークの両方で最先端のパフォーマンスを実現する。 データセットとコードはhttps://github.com/heshuting555/ReferSplatで入手できる。

関連論文リスト

• SeqAffordSplat: Scene-level Sequential Affordance Reasoning on 3D Gaussian Splatting [85.87902260102652]
  本稿では, 連続3次元ガウシアン・アフラマンス推論の課題について紹介する。 次に,SeqSplatNetを提案する。SqSplatNetは,命令を直接3Dアベイランスマスクのシーケンスにマッピングするエンドツーエンドフレームワークである。 本手法は,1段階のインタラクションから,シーンレベルでの複雑なシーケンシャルなタスクへの可利用性推論を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-07-31T17:56:55Z)
• OpenSplat3D: Open-Vocabulary 3D Instance Segmentation using Gaussian Splatting [52.40697058096931]
  3D Gaussian Splatting (3DGS)は神経シーン再構築の強力な表現として登場した。 我々は,OpenSplat3Dと呼ばれる手動ラベリングを必要としないオープン語彙3Dインスタンスセグメンテーションのアプローチを提案する。 LERF-mask と LERF-OVS と ScanNet++ の完全な検証セットについて,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-09T12:37:15Z)
• Occam's LGS: An Efficient Approach for Language Gaussian Splatting [57.00354758206751]
  言語3Dガウススプラッティングのための複雑なパイプラインは、単純に不要であることを示す。 我々は,オッカムのカミソリを手作業に適用し,高効率な重み付き多視点特徴集約技術を実現する。
  論文  参考訳（メタデータ） (2024-12-02T18:50:37Z)
• RefMask3D: Language-Guided Transformer for 3D Referring Segmentation [32.11635464720755]
  RefMask3Dは、総合的なマルチモーダル機能インタラクションと理解を探求することを目的としている。 RefMask3Dは、挑戦的なScanReferデータセットにおいて、3.16% mIoUの大きなマージンで、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-25T17:58:03Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。