論文の概要: Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks
- arxiv url: http://arxiv.org/abs/2409.11681v1
- Date: Wed, 18 Sep 2024 03:45:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 19:10:09.509036
- Title: Gradient-Driven 3D Segmentation and Affordance Transfer in Gaussian Splatting Using 2D Masks
- Title（参考訳）: 2次元マスクを用いたガウス平板の勾配駆動型3次元分割と加速度移動
- Authors: Joji Joseph, Bharadwaj Amrutur, Shalabh Bhatnagar,
- Abstract要約: 3Dガウススプラッティングは強力な3Dシーン表現技術として登場し、高効率で細部を捉えている。
本稿では,2次元分割モデルを3次元ガウススプラットに拡張する投票方式を提案する。
このアプローチの根底にある頑健だが単純な数学的定式化は、多くの下流アプリケーションにとって非常に効果的なツールである。
- 参考スコア（独自算出の注目度）: 6.647959476396794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D Gaussian Splatting has emerged as a powerful 3D scene representation technique, capturing fine details with high efficiency. In this paper, we introduce a novel voting-based method that extends 2D segmentation models to 3D Gaussian splats. Our approach leverages masked gradients, where gradients are filtered by input 2D masks, and these gradients are used as votes to achieve accurate segmentation. As a byproduct, we discovered that inference-time gradients can also be used to prune Gaussians, resulting in up to 21% compression. Additionally, we explore few-shot affordance transfer, allowing annotations from 2D images to be effectively transferred onto 3D Gaussian splats. The robust yet straightforward mathematical formulation underlying this approach makes it a highly effective tool for numerous downstream applications, such as augmented reality (AR), object editing, and robotics. The project code and additional resources are available at https://jojijoseph.github.io/3dgs-segmentation.
- Abstract（参考訳）: 3Dガウススプラッティングは強力な3Dシーン表現技術として登場し、高効率で細部を捉えている。
本稿では,2次元分割モデルを3次元ガウススプラットに拡張する投票方式を提案する。
提案手法は,入力2次元マスクによって勾配をフィルタリングするマスク勾配を利用して,精度の高いセグメンテーションを実現する。
副生成物として,推定時間勾配はガウスの発散にも有効であり,最大で21%の圧縮が得られることがわかった。
さらに,2次元画像からのアノテーションを効果的に3次元ガウススプラットに転送することのできる,わずかな手当転送についても検討する。
このアプローチの根底にある頑丈で単純な数学的定式化は、拡張現実(AR)、オブジェクト編集、ロボット工学など、多くの下流アプリケーションにとって非常に効果的なツールである。
プロジェクトコードと追加のリソースはhttps://jojijoseph.github.io/3dgs-segmentation.comで入手できる。
関連論文リスト
- Gradient-Weighted Feature Back-Projection: A Fast Alternative to Feature Distillation in 3D Gaussian Splatting [6.647959476396794]
提案手法は, 最終レンダリングにおけるガウスの影響に基づいて, 重み付け和を用いて, 事前学習した3次元ガウスの2次元特徴を逆投影する。
トレーニングベースの特徴場レンダリング手法は2次元セグメンテーションでは優れるが,後処理なしでは3次元セグメンテーションでは性能が劣る。
論文 参考訳（メタデータ） (2024-11-19T12:17:15Z) - MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。
各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。
提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
論文 参考訳（メタデータ） (2024-10-11T16:07:59Z) - FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally [66.28517576128381]
本研究は,2次元マスクから3次元ガウススプラッティングを正確に分割することの課題に対処する。
3D-GSセグメンテーションのための単純かつグローバルな最適解法を提案する。
私たちのメソッドは30秒以内で完了します。
論文 参考訳（メタデータ） (2024-09-12T17:58:13Z) - LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。
本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。
実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
論文 参考訳（メタデータ） (2024-04-13T11:07:53Z) - Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。
既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。
我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
論文 参考訳（メタデータ） (2024-03-22T21:28:19Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
論文 参考訳（メタデータ） (2023-12-01T17:09:31Z) - GaussianEditor: Swift and Controllable 3D Editing with Gaussian
Splatting [66.08674785436612]
3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。
メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。
本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
論文 参考訳（メタデータ） (2023-11-24T14:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。