論文の概要: GroupForward: Building Referable 3D Scenes via Instance-Grouped Feed-Forward Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2608.17535v1
- Date: Tue, 18 Aug 2026 08:55:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.277851
- Title: GroupForward: Building Referable 3D Scenes via Instance-Grouped Feed-Forward Gaussian Splatting
- Title（参考訳）: GroupForward: インスタンスグループフィードフォワードガウススプレイティングによる参照可能な3Dシーンの構築
- Abstract要約: GroupForwardは、スパース、アンポーズ、アンキャリブレーションされた画像から幾何学、外観、インスタンス構造、セマンティクスを再構築する。
RSRFは、インスタンスグループ化された3Dシーングラフを構築し、与えられた参照表現の候補インスタンスを検索する。
意味的再構成と参照推論の実験は、事例群再構築と推論の枠組みの有効性を実証する。
- 参考スコア（独自算出の注目度）: 46.95070188813926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simultaneously reconstructing and understanding 3D environments is essential for embodied agents. Toward this goal, feed-forward semantic 3D Gaussian Splatting (3DGS) efficiently constructs semantic scene representations from sparse multi-view observations. However, existing methods lack explicit instance discrimination and mainly support category- or phrase-based semantic queries. To this end, we propose GroupForward, an instance-grouped feed-forward Gaussian splatting model that reconstructs geometry, appearance, instance structure, and semantics from sparse, unposed, and uncalibrated multi-view images. Unlike existing methods that attach high-dimensional semantic features to each Gaussian, GroupForward learns compact instance embeddings that group Gaussians into cross-view consistent 3D instances, reformulating feed-forward semantic 3DGS from per-Gaussian semantic feature rendering to instance-level semantic aggregation and propagation. Building on these instance groups, we further propose a Referential Scene Reasoning Framework (RSRF) for complex 3D referring segmentation. RSRF constructs an instance-grouped 3D scene graph and retrieves candidate instances for a given referring expression. A vision-language model then reasons over structured instance evidence and multi-view observations to identify the referred instance among the candidates. RSRF thereby extends language interaction from simple semantic querying to complex referential scene reasoning. Experiments on semantic reconstruction and referential reasoning demonstrate the effectiveness of our instance-grouped reconstruction and reasoning framework.
- Abstract（参考訳）: 同時に3D環境を再構築し、理解することは、エンボディエージェントにとって不可欠である。
この目的に向けて、フィードフォワード型セマンティック3Dガウススティング(3DGS)は、スパース多視点観測からセマンティックシーン表現を効率的に構築する。
しかし、既存のメソッドには明確なインスタンス識別がなく、主にカテゴリまたはフレーズベースのセマンティッククエリをサポートしている。
この目的のために、我々は、スパース、アンポーズ、アンキャリブレーションされたマルチビュー画像から幾何、外観、インスタンス構造、セマンティクスを再構成する、インスタンス群フィードフォワードガウススプラッティングモデルであるGroupForwardを提案する。
ガウシアンごとに高次元のセマンティックな特徴を付加する既存の方法とは異なり、GroupForwardはガウシアンを横断的に一貫した3Dインスタンスにグループ化するコンパクトなインスタンス埋め込みを学び、ガウシアンごとのセマンティックな特徴レンダリングからインスタンスレベルのセマンティックなアグリゲーションと伝播へとフィードフォワードのセマンティックな3DGSを再構成する。
さらに,これらの事例群に基づいて,複雑な3次元参照セグメンテーションのためのReferential Scene Reasoning Framework (RSRF)を提案する。
RSRFは、インスタンスグループ化された3Dシーングラフを構築し、与えられた参照表現の候補インスタンスを検索する。
視覚言語モデルは、構造化されたインスタンスエビデンスとマルチビューの観察を前提として、候補の中から参照されたインスタンスを識別する。
これにより、RSRFは、単純なセマンティッククエリーから複雑な参照シーン推論まで言語間相互作用を拡張する。
意味的再構成と参照推論の実験は、事例群再構築と推論の枠組みの有効性を実証する。
関連論文リスト
- USR-Drive: Unified Driving Scene Representation via Joint Denoising of 3D Gaussians and Boxes [57.4583999658488]
自律運転のための空間表現学習は、生の視覚信号を構造化された3次元シーン表現にマッピングすることを目的としている。
既存の方法は動的再構成とインスタンスレベルの認識を別々のタスクとして扱う。
共有シーン表現における高密度な動的幾何とインスタンスレベルのオブジェクトレイアウトを復元する統一条件生成フレームワークUSR-Driveを提案する。
論文 参考訳（メタデータ） (2026-08-19T15:29:06Z) - InstanceSplat: Instance-Aware Feed-Forward 3D Gaussian Splatting for Scene Understanding [7.875166305092363]
本稿では,汎用的な3D再構成とインスタンス認識シーン理解のための統合フィードフォワード3DGSフレームワークであるInstanceSplatを提案する。
シングルフォワードパスでは、インスタンス対応のガウス表現を構築し、外観、幾何学、インスタンスアイデンティティ、言語対応セマンティクスを共同でエンコードする。
論文 参考訳（メタデータ） (2026-08-07T12:02:48Z) - Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors [4.720025219010595]
GaussDetは、個別のオープンな2Dオブジェクト検出器と参照表現機能を活用することで、密度の高いCLIP機能の必要性を回避する方法である。
我々のアプローチは、単純な言語クエリから複雑な参照グラウンドまで、単純でゼロショットの拡張を可能にします。
論文 参考訳（メタデータ） (2026-06-29T17:58:41Z) - FAST3DIS: Feed-forward Anchored Scene Transformer for 3D Instance Segmentation [15.271467111162714]
FAST3DISは、ホット後のクラスタリングを効果的にバイパスするエンドツーエンドのアプローチである。
本稿では,基礎的な奥行きバックボーン上に構築された3Dアンコール型クエリベースのTransformerアーキテクチャを提案する。
複雑な屋内3次元データセットを用いた実験により,本手法が競合セグメンテーション精度を実現することを示す。
論文 参考訳（メタデータ） (2026-03-27T00:45:31Z) - Group3D: MLLM-Driven Semantic Grouping for Open-Vocabulary 3D Object Detection [23.34626996348395]
Group3Dはマルチビューオープンな3D検出フレームワークである。
セマンティック制約を直接インスタンス構築プロセスに統合する。
Group3Dは、多視点オープン3D検出において最先端の性能を達成する。
論文 参考訳（メタデータ） (2026-03-23T13:01:14Z) - SegSplat: Feed-forward Gaussian Splatting and Open-Set Semantic Segmentation [114.57192386025373]
SegSplatは、高速でフィードフォワードな3D再構成とリッチでオープンなセマンティック理解のギャップを埋めるために設計された、新しいフレームワークである。
この研究は、意味的に認識された3D環境の実践的でオンザフライな生成に向けた重要なステップである。
論文 参考訳（メタデータ） (2025-11-23T10:26:38Z) - ReferSplat: Referring Segmentation in 3D Gaussian Splatting [60.73702075842278]
3次元ガウス散乱(R3DGS)を参照
Taskは、自然言語の記述に基づいて、ターゲットオブジェクトを3Dガウスシーンにセグメントすることを目的としている。
これらの課題に対処するため,自然言語表現を用いて3次元ガウス点を明示的にモデル化するフレームワークReferSplatを提案する。
論文 参考訳（メタデータ） (2025-08-11T17:59:30Z) - OpenSplat3D: Open-Vocabulary 3D Instance Segmentation using Gaussian Splatting [52.40697058096931]
3D Gaussian Splatting (3DGS)は神経シーン再構築の強力な表現として登場した。
我々は,OpenSplat3Dと呼ばれる手動ラベリングを必要としないオープン語彙3Dインスタンスセグメンテーションのアプローチを提案する。
LERF-mask と LERF-OVS と ScanNet++ の完全な検証セットについて,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2025-06-09T12:37:15Z) - InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception [17.530797215534456]
3Dシーンの理解は、自動運転、ロボティクス、拡張現実の応用において重要な研究領域となっている。
本稿では,インスタンスを適応的に集約しながら外観や意味的特徴を共同学習する InstanceGaussian を提案する。
提案手法は,カテゴリーに依存しないオープンボキャブラリ3次元点分割における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-11-28T16:08:36Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - Convolutional Occupancy Networks [88.48287716452002]
本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。
畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。
実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
論文 参考訳（メタデータ） (2020-03-10T10:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。