論文の概要: SplatMesh: Interactive 3D Segmentation and Editing Using Mesh-Based Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2312.15856v3
- Date: Mon, 14 Apr 2025 17:53:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 00:15:57.076513
- Title: SplatMesh: Interactive 3D Segmentation and Editing Using Mesh-Based Gaussian Splatting
- Title（参考訳）: SplatMesh:メッシュベースのガウススプレイティングによるインタラクティブな3Dセグメンテーションと編集
- Authors: Kaichen Zhou, Lanqing Hong, Xinhai Chang, Yingji Zhong, Enze Xie, Hao Dong, Zhihao Li, Yongxin Yang, Zhenguo Li, Wei Zhang,
- Abstract要約: 3Dベースのインタラクティブ編集における重要な課題は、与えられたメモリ制約の下で様々な修正と高品質なビュー合成のバランスをとる効率的な表現がないことである。
SplatMeshは,3次元ガウススプラッティングと事前計算メッシュを統合した,対話型3Dセグメンテーション・編集アルゴリズムである。
単純化されたメッシュのセグメンテーションと編集により、ガウススプレートの編集も効果的に行えます。
- 参考スコア（独自算出の注目度）: 86.50200613220674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key challenge in fine-grained 3D-based interactive editing is the absence of an efficient representation that balances diverse modifications with high-quality view synthesis under a given memory constraint. While 3D meshes provide robustness for various modifications, they often yield lower-quality view synthesis compared to 3D Gaussian Splatting, which, in turn, suffers from instability during extensive editing. A straightforward combination of these two representations results in suboptimal performance and fails to meet memory constraints. In this paper, we introduce SplatMesh, a novel fine-grained interactive 3D segmentation and editing algorithm that integrates 3D Gaussian Splat with a precomputed mesh and could adjust the memory request based on the requirement. Specifically, given a mesh, \method simplifies it while considering both color and shape, ensuring it meets memory constraints. Then, SplatMesh aligns Gaussian splats with the simplified mesh by treating each triangle as a new reference point. By segmenting and editing the simplified mesh, we can effectively edit the Gaussian splats as well, which will lead to extensive experiments on real and synthetic datasets, coupled with illustrative visual examples, highlighting the superiority of our approach in terms of representation quality and editing performance. Code of our paper can be found here: https://github.com/kaichen-z/SplatMesh.
- Abstract（参考訳）: 微粒な3Dベースのインタラクティブ編集における重要な課題は、メモリ制約の下で様々な修正と高品質なビュー合成のバランスをとる効率的な表現がないことである。
3Dメッシュは様々な修正に対して堅牢性を提供するが、3Dガウス・スプレイティングに比べて低品質のビュー合成をもたらすことが多い。
これら2つの表現の直接的な組み合わせは、最適化されたパフォーマンスをもたらし、メモリ制約を満たすことができない。
本稿では,SplatMeshについて紹介する。SplatMeshは3次元ガウスSplatを事前計算メッシュに統合し,その要求に応じてメモリ要求を調整可能な,対話型3Dセグメンテーション・編集アルゴリズムである。
具体的には、メッシュが与えられた場合、 \methodは色と形状の両方を考慮してそれを単純化し、メモリの制約を満たす。
次に、SplatMeshは、各三角形を新しい基準点として扱うことにより、ガウススプレートを単純化されたメッシュと整列する。
単純化されたメッシュのセグメント化と編集により、ガウススプレートの編集も効果的に行うことができ、実際のデータセットや合成データセットに関する広範な実験と、図形的な視覚的な例が組み合わされ、表現品質や編集性能の観点から、我々のアプローチの優位性が強調される。
私たちの論文のコードは以下の通りである。
関連論文リスト
- REdiSplats: Ray Tracing for Editable Gaussian Splatting [0.0]
レイトレーシングとメッシュによるフラットな3Dガウス表現を用いたREdiSplatsを紹介する。
実際、メッシュによってパラメータ化された平坦なガウス分布を用いてシーンをモデル化する。
BlenderやNvdiffrastといった3Dツールを使ってモデルをレンダリングすることで、既存のすべての3Dグラフィックス技術と統合することが可能になる。
論文 参考訳（メタデータ） (2025-03-15T22:42:21Z) - MeshPad: Interactive Sketch-Conditioned Artist-Designed Mesh Generation and Editing [64.84885028248395]
MeshPadは、スケッチ入力から3Dメッシュを生成するジェネレーティブなアプローチである。
我々は、メッシュの領域の"削除"に編集を分解し、新しいメッシュ幾何学の"追加"に続き、一貫した編集を可能にすることに重点を置いている。
提案手法は,メッシュ三角形の追加と削除のために,大規模なTransformerモデルを利用した三角形列に基づくメッシュ表現に基づいている。
論文 参考訳（メタデータ） (2025-03-03T11:27:44Z) - MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。
各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。
提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
論文 参考訳（メタデータ） (2024-10-11T16:07:59Z) - HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。
階層的な3Dガウスを粗大な戦略で生成する。
これにより、再構築品質とデータセット間の一般化が大幅に向上する。
論文 参考訳（メタデータ） (2024-10-08T17:59:32Z) - Towards Realistic Example-based Modeling via 3D Gaussian Stitching [31.710954782769377]
サンプル誘導合成を用いた点ベース表現における複数のガウス場を組み合わせた例に基づくモデリング手法を提案する。
具体的には、構成について、複数のフィールドをリアルタイムでセグメント化し変換するGUIを作成し、意味論的に意味のあるモデルの合成を容易に得る。
テクスチャブレンディングでは、3DGSの離散的および不規則な性質のため、SeamlssNeRFがサポートされないため、直接勾配伝播を適用する。
論文 参考訳（メタデータ） (2024-08-28T11:13:27Z) - Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。
Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。
その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
論文 参考訳（メタデータ） (2024-07-09T13:24:42Z) - DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。
我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
論文 参考訳（メタデータ） (2024-05-09T14:34:05Z) - Reference-Based 3D-Aware Image Editing with Triplanes [15.222454412573455]
GAN(Generative Adversarial Networks)は、高品質な画像生成と、潜伏空間を操作することで実際の画像編集のための強力なツールとして登場した。
GANの最近の進歩には、EG3Dのような3次元認識モデルが含まれており、単一の画像から3次元幾何学を再構築できる効率的な三面体ベースのアーキテクチャを備えている。
本研究では,先進的な参照ベース編集における三面体空間の有効性を探索し,実証することにより,このギャップを解消する。
論文 参考訳（メタデータ） (2024-04-04T17:53:33Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
論文 参考訳（メタデータ） (2023-12-01T17:09:31Z) - GaussianEditor: Swift and Controllable 3D Editing with Gaussian
Splatting [66.08674785436612]
3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。
メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。
本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
論文 参考訳（メタデータ） (2023-11-24T14:46:59Z) - Scene-Generalizable Interactive Segmentation of Radiance Fields [64.37093918762]
我々はSGISRF(Scene-Generalizable Interactive in Radiance Fields)の最初の試みを行う。
そこで本研究では,複数視点の2D画像に対して,対話的なユーザクリック数回しか表示されない,新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現するSGISRF手法を提案する。
多様なシーンをカバーする2つの実世界の挑戦的ベンチマーク実験は,1) 提案手法の有効性とシーン一般化性を示し,2) シーン固有の最適化を必要とする古典的手法と比較して良好な性能を示した。
論文 参考訳（メタデータ） (2023-08-09T17:55:50Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳（メタデータ） (2023-07-19T10:44:44Z) - Vox-E: Text-guided Voxel Editing of 3D Objects [14.88446525549421]
大規模テキスト誘導拡散モデルが注目されているのは、多様な画像を合成できるためである。
本稿では,既存の3次元オブジェクトの編集に潜時拡散モデルのパワーを利用する手法を提案する。
論文 参考訳（メタデータ） (2023-03-21T17:36:36Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳（メタデータ） (2022-09-28T10:05:16Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳（メタデータ） (2022-08-18T00:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。