論文の概要: InstanceSplat: Instance-Aware Feed-Forward 3D Gaussian Splatting for Scene Understanding
- arxiv url: http://arxiv.org/abs/2608.07144v1
- Date: Fri, 07 Aug 2026 12:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.489649
- Title: InstanceSplat: Instance-Aware Feed-Forward 3D Gaussian Splatting for Scene Understanding
- Title（参考訳）: InstanceSplat: シーン理解のためのインスタンス対応フィードフォワード3Dガウススプレイティング
- Abstract要約: 本稿では,汎用的な3D再構成とインスタンス認識シーン理解のための統合フィードフォワード3DGSフレームワークであるInstanceSplatを提案する。
シングルフォワードパスでは、インスタンス対応のガウス表現を構築し、外観、幾何学、インスタンスアイデンティティ、言語対応セマンティクスを共同でエンコードする。
- 参考スコア（独自算出の注目度）: 7.875166305092363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feed-forward 3D Gaussian Splatting (3DGS) enables efficient and generalizable 3D reconstruction, but current feed-forward 3DGS methods for scene understanding remain largely category-oriented. In contrast, instance-aware 3DGS methods typically rely on per-scene optimization and often decouple reconstruction from instance and semantic learning, limiting reciprocal interactions among them. We present InstanceSplat, a unified feed-forward 3DGS framework for generalizable 3D reconstruction and instance-aware scene understanding from pose-free multi-view images. In a single forward pass, InstanceSplat constructs an instance-aware Gaussian representation that jointly encodes appearance, geometry, instance identity, and language-aligned semantics. Shared 3D Gaussians ground instance identities across views, producing renderable and cross-view-consistent instance features. To allow reconstruction and scene understanding to benefit from each other, we further design an instance-centric learning strategy that connects reconstruction, instance learning, and semantic learning through shared instance structure. Specifically, instance cues guide reconstruction, language-aligned semantics strengthen the discrimination of confusing same-category instances, and instance regions aggregate semantic evidence into coherent object-level predictions. Experiments on novel-view synthesis, instance segmentation, and open-vocabulary semantic understanding under varying input-view settings and on an unseen dataset demonstrate state-of-the-art performance, practical efficiency, and strong generalization.
- Abstract（参考訳）: フィードフォワード3次元ガウススティング(3DGS)は効率的で一般化可能な3次元再構成を実現するが、シーン理解のための現在のフィードフォワード3DGS法は、大半がカテゴリ指向である。
対照的に、インスタンス対応の3DGS手法は典型的にはシーンごとの最適化に依存しており、多くの場合、インスタンスとセマンティックラーニングから再構成を分離し、相互の相互作用を制限する。
本稿では,ポーズレス多視点画像からの3D再構成とインスタンス認識シーン理解のための統合フィードフォワード3DGSフレームワークであるInstanceSplatを提案する。
シングルフォワードパスでは、インスタンス対応のガウス表現を構築し、外観、幾何学、インスタンスアイデンティティ、言語対応セマンティクスを共同でエンコードする。
ビュー間で3D GaussianのインスタンスIDを共有することで、レンダリング可能およびクロスビュー一貫性のあるインスタンス機能を生成する。
再構築とシーン理解が相互に恩恵を受けられるように,再構築,インスタンス学習,セマンティックラーニングを共用する,インスタンス中心の学習戦略をさらに設計する。
具体的には、インスタンスガイドの再構築、言語対応の意味論は混乱する同カテゴリのインスタンスの識別を強化し、インスタンス領域はセマンティックエビデンスをコヒーレントなオブジェクトレベルの予測に集約する。
様々な入力ビュー設定下での新規ビュー合成、インスタンスセグメンテーション、オープンボキャブラリセマンティック理解、および未知のデータセットの実験は、最先端の性能、実用的効率、強力な一般化を実証している。
関連論文リスト
- GroupForward: Building Referable 3D Scenes via Instance-Grouped Feed-Forward Gaussian Splatting [46.95070188813926]
GroupForwardは、スパース、アンポーズ、アンキャリブレーションされた画像から幾何学、外観、インスタンス構造、セマンティクスを再構築する。
RSRFは、インスタンスグループ化された3Dシーングラフを構築し、与えられた参照表現の候補インスタンスを検索する。
意味的再構成と参照推論の実験は、事例群再構築と推論の枠組みの有効性を実証する。
論文 参考訳（メタデータ） (2026-08-18T08:55:52Z) - Scenes as Objects, Not Primitives: Instance-Structured 3D Tokenization from Unposed Views [35.7336094120467]
3Dシーンは、それらを構成するプリミティブではなく、オブジェクトを通して理解される。
本稿では,シーンをインスタンス構成の3Dトークングループに分解するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-28T17:21:45Z) - FAST3DIS: Feed-forward Anchored Scene Transformer for 3D Instance Segmentation [15.271467111162714]
FAST3DISは、ホット後のクラスタリングを効果的にバイパスするエンドツーエンドのアプローチである。
本稿では,基礎的な奥行きバックボーン上に構築された3Dアンコール型クエリベースのTransformerアーキテクチャを提案する。
複雑な屋内3次元データセットを用いた実験により,本手法が競合セグメンテーション精度を実現することを示す。
論文 参考訳（メタデータ） (2026-03-27T00:45:31Z) - SegSplat: Feed-forward Gaussian Splatting and Open-Set Semantic Segmentation [114.57192386025373]
SegSplatは、高速でフィードフォワードな3D再構成とリッチでオープンなセマンティック理解のギャップを埋めるために設計された、新しいフレームワークである。
この研究は、意味的に認識された3D環境の実践的でオンザフライな生成に向けた重要なステップである。
論文 参考訳（メタデータ） (2025-11-23T10:26:38Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - OpenSplat3D: Open-Vocabulary 3D Instance Segmentation using Gaussian Splatting [52.40697058096931]
3D Gaussian Splatting (3DGS)は神経シーン再構築の強力な表現として登場した。
我々は,OpenSplat3Dと呼ばれる手動ラベリングを必要としないオープン語彙3Dインスタンスセグメンテーションのアプローチを提案する。
LERF-mask と LERF-OVS と ScanNet++ の完全な検証セットについて,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2025-06-09T12:37:15Z) - InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception [17.530797215534456]
3Dシーンの理解は、自動運転、ロボティクス、拡張現実の応用において重要な研究領域となっている。
本稿では,インスタンスを適応的に集約しながら外観や意味的特徴を共同学習する InstanceGaussian を提案する。
提案手法は,カテゴリーに依存しないオープンボキャブラリ3次元点分割における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-11-28T16:08:36Z) - Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - Convolutional Occupancy Networks [88.48287716452002]
本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。
畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。
実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
論文 参考訳（メタデータ） (2020-03-10T10:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。