論文の概要: GaussianCut: Interactive segmentation via graph cut for 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2411.07555v1
• Date: Tue, 12 Nov 2024 05:09:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:21:24.137549
• Title: GaussianCut: Interactive segmentation via graph cut for 3D Gaussian Splatting
• Title（参考訳）: GaussianCut: 3D Gaussian Splattingのためのグラフカットによるインタラクティブセグメンテーション
• Authors: Umangi Jain, Ashkan Mirzaei, Igor Gilitschenski,
• Abstract要約: 我々は3Dガウスアンとして表現されるシーンのインタラクティブなマルチビューセグメンテーション手法であるGaussianCutを紹介する。 このアプローチでは、単一のビューと対話することで、セグメンテーション対象を選択することができます。 ポイントクリック、粗いスクリブル、テキストなどの直感的なユーザー入力を受け入れる。
• 参考スコア（独自算出の注目度）: 7.392798832833857
• License:
• Abstract: We introduce GaussianCut, a new method for interactive multiview segmentation of scenes represented as 3D Gaussians. Our approach allows for selecting the objects to be segmented by interacting with a single view. It accepts intuitive user input, such as point clicks, coarse scribbles, or text. Using 3D Gaussian Splatting (3DGS) as the underlying scene representation simplifies the extraction of objects of interest which are considered to be a subset of the scene's Gaussians. Our key idea is to represent the scene as a graph and use the graph-cut algorithm to minimize an energy function to effectively partition the Gaussians into foreground and background. To achieve this, we construct a graph based on scene Gaussians and devise a segmentation-aligned energy function on the graph to combine user inputs with scene properties. To obtain an initial coarse segmentation, we leverage 2D image/video segmentation models and further refine these coarse estimates using our graph construction. Our empirical evaluations show the adaptability of GaussianCut across a diverse set of scenes. GaussianCut achieves competitive performance with state-of-the-art approaches for 3D segmentation without requiring any additional segmentation-aware training.
• Abstract（参考訳）: 我々は3Dガウスアンとして表現されるシーンのインタラクティブなマルチビューセグメンテーション手法であるGaussianCutを紹介する。 このアプローチでは、単一のビューと対話することで、セグメンテーション対象を選択することができます。 ポイントクリック、粗いスクリブル、テキストなどの直感的なユーザー入力を受け入れる。 背景となるシーン表現として3Dガウススティング(3DGS)を用いると、シーンのガウスのサブセットであると考えられる関心の対象の抽出が簡単になる。 私たちのキーとなるアイデアは、シーンをグラフとして表現し、グラフカットアルゴリズムを使ってエネルギー関数を最小化し、ガウス人をフォアグラウンドとバックグラウンドに効果的に分割することです。 これを実現するために,シーンガウシアンに基づくグラフを構築し,ユーザ入力とシーン特性を組み合わせたセグメンテーション整合エネルギー関数をグラフ上に考案する。 初期粗いセグメンテーションを得るためには、2次元画像/映像セグメンテーションモデルを活用し、グラフ構造を用いてこれらの粗い推定をさらに洗練する。 実験による評価は,ガウシアンカットの様々な場面における適応性を示している。 GaussianCutは、3Dセグメンテーションのための最先端のアプローチと競合するパフォーマンスを、追加のセグメンテーションアウェアトレーニングを必要とせずに達成する。

関連論文リスト

• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation [14.967600484476385]
  本稿では,任意の視点からセグメンテーションマスクを提供する新しいアプローチであるContrastive Gaussian Clusteringを紹介する。 本手法は,不整合な2次元セグメンテーションマスクを用いてトレーニングが可能であり,また,すべてのビューに一貫性のあるセグメンテーションマスクの生成も学べる。 結果のモデルは非常に正確で、予測されたマスクのIoU精度を、最先端で+8%以上向上させる。
  論文  参考訳（メタデータ） (2024-04-19T10:47:53Z)
• Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation [16.57158278095853]
  ゼロショットニューラルシーンセグメンテーションはシーン理解に有効な方法である。 既存のモデル、特に効率的な3Dガウス法は、コンパクトなセグメンテーションの結果を生み出すのに苦労している。 セグメンテーションフィールドとしてFeature UnprojectionとFusionモジュールを提案する。 本モデルでは,ゼロショットセマンティックセグメンテーションタスクのベースラインを超越し,最良ベースラインよりも10%mIoU向上を図っている。
  論文  参考訳（メタデータ） (2024-01-11T14:05:01Z)
• 2D-Guided 3D Gaussian Segmentation [15.139488857163064]
  本稿では2次元分節を監督として実装した3次元ガウス分節法を提案する。 このアプローチでは、入力2次元セグメンテーションマップを使用して、付加された3次元ガウス意味情報の学習を誘導する。 実験により,マルチオブジェクトセグメンテーションにおいて,mIOUとmAccに匹敵する性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T13:28:21Z)
• Segment Any 3D Gaussians [85.93694310363325]
  本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。 入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。 我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
  論文  参考訳（メタデータ） (2023-12-01T17:15:24Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)
• SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences [76.28527350263012]
  rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。 我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。 提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
  論文  参考訳（メタデータ） (2021-03-27T13:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。