論文の概要: FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

• arxiv url: http://arxiv.org/abs/2409.08270v1
• Date: Thu, 12 Sep 2024 17:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 15:24:38.780850
• Title: FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally
• Title（参考訳）: FlashSplat:2Dから3Dのガウス・スプレイティング・セグメンテーションを最適に解決
• Authors: Qiuhong Shen, Xingyi Yang, Xinchao Wang,
• Abstract要約: 本研究は,2次元マスクから3次元ガウススプラッティングを正確に分割することの課題に対処する。 3D-GSセグメンテーションのための単純かつグローバルな最適解法を提案する。 私たちのメソッドは30秒以内で完了します。
• 参考スコア（独自算出の注目度）: 66.28517576128381
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50$\times$ faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.
• Abstract（参考訳）: 本研究は,2次元マスクから3次元ガウススプラッティングを正確に分割することの課題に対処する。 従来の手法は、各ガウスを一意なラベルに割り当てるために反復勾配降下に依存することが多く、長い最適化と準最適解をもたらす。 代わりに、3D-GSセグメンテーションのための単純かつグローバルな最適解法を提案する。 提案手法の中核となる洞察は,再構成された3D-GSシーンでは,2次元マスクの描画はガウスのラベルに対して本質的に線形関数であるということである。 そのため、最適ラベル割り当ては閉形式で線形プログラミングによって解決できる。 この解は、単一ステップ最適化のためのスプレイティングプロセスのアルファブレンディング特性を生かしたものである。 対象関数に背景バイアスを組み込むことにより, 雑音に対する3次元分割において, 優れたロバスト性を示す。 注目すべきは、最適化が30秒以内に完了することです。 広範囲な実験により, 様々なシーンのセグメンテーションにおける手法の有効性とロバスト性を実証し, 物体除去や塗装などの下流作業において優れた性能を示した。 デモとコードはhttps://github.com/florinshen/FlashSplat.comで公開される。

関連論文リスト

• Gradient-Weighted Feature Back-Projection: A Fast Alternative to Feature Distillation in 3D Gaussian Splatting [6.647959476396794]
  提案手法は, 最終レンダリングにおけるガウスの影響に基づいて, 重み付け和を用いて, 事前学習した3次元ガウスの2次元特徴を逆投影する。 トレーニングベースの特徴場レンダリング手法は2次元セグメンテーションでは優れるが,後処理なしでは3次元セグメンテーションでは性能が劣る。
  論文  参考訳（メタデータ） (2024-11-19T12:17:15Z)
• 3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt [65.25603275491544]
  3DGS-LM, 3D Gaussian Splatting(3DGS)の再構築を高速化する新しい手法を提案する。 提案手法は元の3DGSよりも30%高速で, 再現品質の最適化が可能である。
  論文  参考訳（メタデータ） (2024-09-19T16:31:44Z)
• Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks [6.647959476396794]
  3Dガウススプラッティングは強力な3Dシーン表現技術として登場し、高効率で細部を捉えている。 本稿では,2次元分割モデルを3次元ガウススプラットに拡張する投票方式を提案する。 このアプローチの根底にある頑健だが単純な数学的定式化は、多くの下流アプリケーションにとって非常に効果的なツールである。
  論文  参考訳（メタデータ） (2024-09-18T03:45:44Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
  3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。 本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:57:52Z)
• Segment Any 3D Gaussians [85.93694310363325]
  本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。 入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。 我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
  論文  参考訳（メタデータ） (2023-12-01T17:15:24Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。