論文の概要: Consistent Scene Understanding in 3D Gaussian Splatting via Multi-Cue Mask Refinement
- arxiv url: http://arxiv.org/abs/2607.01708v1
- Date: Thu, 02 Jul 2026 05:00:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.677567
- Title: Consistent Scene Understanding in 3D Gaussian Splatting via Multi-Cue Mask Refinement
- Title（参考訳）: マルチキューマスクリファインメントによる3次元ガウス平滑化における一貫したシーン理解
- Abstract要約: 本稿では,3次元ガウス散乱(3DGS)特徴場の最適化を導くために,一貫した2次元マスクを生成する新しいフレームワークを提案する。
視点特異的セグメントをコヒーレントな3Dプリミティブに変換することで、安定した3Dインスタンスセグメント化と効果的な下流編集作業が可能になる。
- 参考スコア（独自算出の注目度）: 13.986963122264633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable instance-level scene understanding is a fundamental prerequisite for object-level interactions and high-fidelity 3D representations. While current methods often leverage 2D foundation segmentation models to obtain these priors, their 2D-centric design typically yields fragmented masks and inconsistent predictions across different views. To address these issues, we propose a novel framework that produces consistent 2D instance masks to guide the optimization of 3D Gaussian Splatting (3DGS) feature fields. Our framework consists of three main stages. (1) Multi-Cue Extraction that generates synergistic semantic, geometric, and structural priors from input images. (2) Multi-Cue-Guided Mask Merging process that consolidates fragmented masks using a composite merge score derived from semantic, depth, and edge cues. (3) Cross-View Mask Matching that establishes globally consistent identity assignments across all viewpoints. By transforming viewpoint-specific segments into coherent 3D primitives, our approach enables stable 3D instance segmentation and effective downstream editing tasks. Experiments demonstrate that our method significantly improves cross-view consistency and segmentation stability over existing baselines while maintaining high-fidelity photometric reconstruction.
- Abstract（参考訳）: 信頼性の高いインスタンスレベルのシーン理解は、オブジェクトレベルの相互作用と高忠実度3D表現の基本的な前提条件である。
現在の手法では、しばしば2D基盤分割モデルを利用してこれらの先行情報を得るが、2D中心の設計は、通常、異なる視点で断片化されたマスクと一貫性のない予測をもたらす。
これらの問題に対処するために,3次元ガウススプラッティング(3DGS)特徴場の最適化を導くために,一貫した2次元マスクを生成する新しいフレームワークを提案する。
私たちのフレームワークは3つの主要なステージで構成されています。
1) 入力画像から相乗的意味, 幾何学的, 構造的先行情報を生成するマルチキュー抽出
2) セマンティック, ディープ, エッジキューから得られる複合マージスコアを用いて, フラグメントマスクを集約するマルチキューガイドマスクマージ法について検討した。
(3)全視点にわたって一貫したアイデンティティ割り当てを確立するクロスビューマスクマッチング。
視点特異的セグメントをコヒーレントな3Dプリミティブに変換することで、安定した3Dインスタンスセグメント化と効果的な下流編集作業が可能になる。
実験により,本手法は高忠実度光度再構成を維持しつつ,既存のベースラインに対するクロスビューの整合性とセグメンテーション安定性を著しく向上することを示した。
関連論文リスト
- MV3DIS: Multi-View Mask Matching via 3D Guides for Zero-Shot 3D Instance Segmentation [12.513474673735963]
従来の3Dインスタンスセグメンテーション手法は、教師あり訓練のための労働集約的な3Dアノテーションに依存している。
最近のアプローチでは、Segment Anything Model (SAM) からの多視点2Dマスクを活用し、3次元幾何学的プリミティブの融合を導く。
MV3DISは、ゼロショット3Dインスタンスセグメンテーションのための粗大なフレームワークであり、3Dプリエンスを明示的に組み込む。
論文 参考訳（メタデータ） (2026-04-10T03:26:52Z) - FAST3DIS: Feed-forward Anchored Scene Transformer for 3D Instance Segmentation [15.271467111162714]
FAST3DISは、ホット後のクラスタリングを効果的にバイパスするエンドツーエンドのアプローチである。
本稿では,基礎的な奥行きバックボーン上に構築された3Dアンコール型クエリベースのTransformerアーキテクチャを提案する。
複雑な屋内3次元データセットを用いた実験により,本手法が競合セグメンテーション精度を実現することを示す。
論文 参考訳（メタデータ） (2026-03-27T00:45:31Z) - Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation [91.2768117730855]
一般化された3D参照式(3D-GRES)は、記述が複数またはゼロのターゲットと一致する場合でも、自然言語に基づいて3Dシーン内のオブジェクトをローカライズする。
既存の方法はスパース・ポイント・クラウドにのみ依存しており、きめ細かい説明のためのリッチ・ビジュアル・セマンティクスが欠如している。
HCF-RESは2つの重要なイノベーションを持つマルチモーダルフレームワークである。
論文 参考訳（メタデータ） (2026-03-06T13:09:29Z) - Hierarchical Image-Guided 3D Point Cloud Segmentation in Industrial Scenes via Multi-View Bayesian Fusion [4.679314646805623]
3Dセグメンテーションは、高密度なレイアウトとマルチスケールオブジェクトを持つ複雑なシーンを理解するために重要である。
既存の3Dポイントベースの手法はコストのかかるアノテーションを必要とするが、画像誘導方式はビュー間のセマンティックな不整合に悩まされることが多い。
本稿では,階層的な画像誘導型3次元セグメンテーションフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-07T15:15:52Z) - Class-agnostic 3D Segmentation by Granularity-Consistent Automatic 2D Mask Tracking [10.223105883919278]
本稿では,フレーム間の時間的対応を維持する2次元マスク追跡手法を提案する。
本手法は, 整合性および高精度な3次元セグメンテーションを効果的に生成する。
論文 参考訳（メタデータ） (2025-11-02T03:52:42Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - OpenInsGaussian: Open-vocabulary Instance Gaussian Segmentation with Context-aware Cross-view Fusion [89.98812408058336]
textbfOpenInsGaussian, textbfOpen-vocabulary textbfInstance textbfGaussian segmentation framework with Context-aware Cross-view Fusion。
OpenInsGaussianは、オープン語彙の3Dガウスのセグメンテーションにおける最先端の結果を達成し、既存のベースラインを大きなマージンで上回る。
論文 参考訳（メタデータ） (2025-10-21T03:24:12Z) - SGS-3D: High-Fidelity 3D Instance Segmentation via Reliable Semantic Mask Splitting and Growing [20.383892902000976]
高忠実度3Dインスタンスセグメンテーション(SGS-3D)のための分割・成長型セマンティックマスクを提案する。
本稿では,3次元幾何学的プリミティブの共起を利用したマスクフィルタリング手法を提案する。
幾何学的洗練のために,空間的連続性と高次特徴を両立させて細粒度オブジェクトインスタンスを構築する。
論文 参考訳（メタデータ） (2025-09-05T14:37:31Z) - SeqAffordSplat: Scene-level Sequential Affordance Reasoning on 3D Gaussian Splatting [85.87902260102652]
本稿では, 連続3次元ガウシアン・アフラマンス推論の課題について紹介する。
次に,SeqSplatNetを提案する。SqSplatNetは,命令を直接3Dアベイランスマスクのシーケンスにマッピングするエンドツーエンドフレームワークである。
本手法は,1段階のインタラクションから,シーンレベルでの複雑なシーケンシャルなタスクへの可利用性推論を効果的に向上させる。
論文 参考訳（メタデータ） (2025-07-31T17:56:55Z) - econSG: Efficient and Multi-view Consistent Open-Vocabulary 3D Semantic Gaussians [56.85804719947]
3DGSを用いたオープン語彙セマンティックセマンティックセグメンテーションのためのeconSGを提案する。
筆者らのeconSGは,既存手法と比較して,4つのベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2025-04-08T13:12:31Z) - XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。
我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。
生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
論文 参考訳（メタデータ） (2024-11-20T12:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。