論文の概要: Neural Surface Priors for Editable Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2411.18311v2
- Date: Fri, 07 Feb 2025 23:21:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:25:23.322172
- Title: Neural Surface Priors for Editable Gaussian Splatting
- Title（参考訳）: 編集可能なガウススプレイティングのためのニューラルサーフェスプライオリティ
- Authors: Jakub Szymkowiak, Weronika Jakubowska, Dawid Malarz, Weronika Smolak-Dyżewska, Maciej Zięba, Przemyslaw Musialski, Wojtek Pałubicki, Przemysław Spurek,
- Abstract要約: 本稿では,3次元ガウススプラッティングと暗黙の面表現を組み合わせた新しい手法を提案する。
提案手法は,ニューラルサインされた距離場を用いてシーン表面を再構成する。
編集を容易にするために,視覚的および幾何学的情報を軽量な三角形スーププロキシにエンコードする。
- 参考スコア（独自算出の注目度）: 1.4153509273019282
- License:
- Abstract: In computer graphics and vision, recovering easily modifiable scene appearance from image data is crucial for applications such as content creation. We introduce a novel method that integrates 3D Gaussian Splatting with an implicit surface representation, enabling intuitive editing of recovered scenes through mesh manipulation. Starting with a set of input images and camera poses, our approach reconstructs the scene surface using a neural signed distance field. This neural surface acts as a geometric prior guiding the training of Gaussian Splatting components, ensuring their alignment with the scene geometry. To facilitate editing, we encode the visual and geometric information into a lightweight triangle soup proxy. Edits applied to the mesh extracted from the neural surface propagate seamlessly through this intermediate structure to update the recovered appearance. Unlike previous methods relying on the triangle soup proxy representation, our approach supports a wider range of modifications and fully leverages the mesh topology, enabling a more flexible and intuitive editing process. The complete source code for this project can be accessed at: https://github.com/WJakubowska/NeuralSurfacePriors.
- Abstract（参考訳）: コンピュータグラフィックスとビジョンでは、画像データから容易に変更可能なシーンの外観を復元することが、コンテンツ作成のようなアプリケーションにとって重要である。
本稿では,3次元ガウススティングと暗黙の面表現を統合し,メッシュ操作による復元シーンの直感的な編集を可能にする手法を提案する。
入力画像とカメラポーズのセットから始めて,我々はニューラルサインされた距離場を用いてシーン表面を再構成する。
この神経表面は、ガウス散乱成分のトレーニングを先導する幾何学的な先導として機能し、シーン幾何学との整合性を確保する。
編集を容易にするために,視覚的および幾何学的情報を軽量な三角形スーププロキシにエンコードする。
神経表面から抽出されたメッシュに適用される編集は、この中間構造を通してシームレスに伝播し、回復した外観を更新する。
従来の三角形のスーププロキシ表現に依存していた手法とは異なり、我々の手法はより広範囲の修正をサポートし、メッシュトポロジを完全に活用することで、より柔軟で直感的な編集プロセスを実現できる。
このプロジェクトの完全なソースコードは、https://github.com/WJakubowska/NeuralSurfacePriorsでアクセスすることができる。
関連論文リスト
- Reference-based Controllable Scene Stylization with Gaussian Splatting [30.321151430263946]
コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。
参照型スタイリゼーションに3Dガウススティング(3DGS)を適用し,リアルタイムなスタイリゼーションを実現するReGSを提案する。
論文 参考訳（メタデータ） (2024-07-09T20:30:29Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。
まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。
次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。
この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
論文 参考訳（メタデータ） (2023-12-04T18:59:58Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳（メタデータ） (2023-10-09T04:07:00Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - NeuralMeshing: Differentiable Meshing of Implicit Neural Representations [63.18340058854517]
ニューラルな暗黙表現から表面メッシュを抽出する新しい微分可能なメッシュアルゴリズムを提案する。
本手法は,通常のテッセルレーションパターンと,既存の手法に比べて三角形面の少ないメッシュを生成する。
論文 参考訳（メタデータ） (2022-10-05T16:52:25Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳（メタデータ） (2022-09-28T10:05:16Z) - NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for
Geometry and Texture Editing [39.71252429542249]
本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。
メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。
実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
論文 参考訳（メタデータ） (2022-07-25T05:30:50Z) - Surface-Aligned Neural Radiance Fields for Controllable 3D Human
Synthesis [4.597864989500202]
本稿では,多視点RGBビデオから暗黙の3次元モデルを再構築する手法を提案する。
本手法は,人体メッシュの表面から,メッシュ表面点と署名された距離のニューラルシーン表現を定義する。
論文 参考訳（メタデータ） (2022-01-05T16:25:32Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Deep Geometric Texture Synthesis [83.9404865744028]
幾何学的テクスチャを合成するための新しい枠組みを提案する。
単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。
我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
論文 参考訳（メタデータ） (2020-06-30T19:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。