論文の概要: Neural Surface Priors for Editable Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2411.18311v1
- Date: Wed, 27 Nov 2024 13:06:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:26:30.465201
- Title: Neural Surface Priors for Editable Gaussian Splatting
- Title（参考訳）: 編集可能なガウススプレイティングのためのニューラルサーフェスプライオリティ
- Authors: Jakub Szymkowiak, Weronika Jakubowska, Dawid Malarz, Weronika Smolak-Dyżewska, Maciej Zięba, Przemysław Musialski, Wojtek Pałubicki, Przemysław Spurek,
- Abstract要約: コンピュータグラフィックスでは、3次元幾何学と外観の容易に修正可能な表現を復元する必要がある。
メッシュ調整による直感的なシーン編集が可能な3Dガウススプラッティングを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: In computer graphics, there is a need to recover easily modifiable representations of 3D geometry and appearance from image data. We introduce a novel method for this task using 3D Gaussian Splatting, which enables intuitive scene editing through mesh adjustments. Starting with input images and camera poses, we reconstruct the underlying geometry using a neural Signed Distance Field and extract a high-quality mesh. Our model then estimates a set of Gaussians, where each component is flat, and the opacity is conditioned on the recovered neural surface. To facilitate editing, we produce a proxy representation that encodes information about the Gaussians' shape and position. Unlike other methods, our pipeline allows modifications applied to the extracted mesh to be propagated to the proxy representation, from which we recover the updated parameters of the Gaussians. This effectively transfers the mesh edits back to the recovered appearance representation. By leveraging mesh-guided transformations, our approach simplifies 3D scene editing and offers improvements over existing methods in terms of usability and visual fidelity of edits. The complete source code for this project can be accessed at \url{https://github.com/WJakubowska/NeuralSurfacePriors}
- Abstract（参考訳）: コンピュータグラフィックスでは、画像データから容易に3次元幾何学の表現や外観を復元する必要がある。
本稿では,メッシュ調整による直感的なシーン編集を可能にする3Dガウススプレイティングを用いた新しい手法を提案する。
入力画像とカメラのポーズから始め、ニューラルサイン付き距離場を用いて基礎となる幾何学を再構築し、高品質なメッシュを抽出する。
我々のモデルは、各成分が平坦なガウスの集合を推定し、その不透明度は回復した神経表面で条件付けされる。
編集を容易にするために,ガウスの形状や位置に関する情報を符号化するプロキシ表現を生成する。
他の方法とは異なり、パイプラインは抽出されたメッシュに適用される変更をプロキシ表現に伝達し、ガウスの更新されたパラメータを復元する。
これにより、メッシュ編集を復元された外観表現に戻すことができる。
メッシュ誘導変換を利用することで、3Dシーン編集を簡略化し、編集のユーザビリティと視覚的忠実度の観点から既存の手法よりも改善した。
このプロジェクトの完全なソースコードは、 \url{https://github.com/WJakubowska/NeuralSurfacePriors} でアクセスすることができる。
関連論文リスト
- Reference-based Controllable Scene Stylization with Gaussian Splatting [30.321151430263946]
コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。
参照型スタイリゼーションに3Dガウススティング(3DGS)を適用し,リアルタイムなスタイリゼーションを実現するReGSを提案する。
論文 参考訳（メタデータ） (2024-07-09T20:30:29Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。
まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。
次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。
この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
論文 参考訳（メタデータ） (2023-12-04T18:59:58Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳（メタデータ） (2023-10-09T04:07:00Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - NeuralMeshing: Differentiable Meshing of Implicit Neural Representations [63.18340058854517]
ニューラルな暗黙表現から表面メッシュを抽出する新しい微分可能なメッシュアルゴリズムを提案する。
本手法は,通常のテッセルレーションパターンと,既存の手法に比べて三角形面の少ないメッシュを生成する。
論文 参考訳（メタデータ） (2022-10-05T16:52:25Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳（メタデータ） (2022-09-28T10:05:16Z) - NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for
Geometry and Texture Editing [39.71252429542249]
本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。
メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。
実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
論文 参考訳（メタデータ） (2022-07-25T05:30:50Z) - Surface-Aligned Neural Radiance Fields for Controllable 3D Human
Synthesis [4.597864989500202]
本稿では,多視点RGBビデオから暗黙の3次元モデルを再構築する手法を提案する。
本手法は,人体メッシュの表面から,メッシュ表面点と署名された距離のニューラルシーン表現を定義する。
論文 参考訳（メタデータ） (2022-01-05T16:25:32Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Deep Geometric Texture Synthesis [83.9404865744028]
幾何学的テクスチャを合成するための新しい枠組みを提案する。
単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。
我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
論文 参考訳（メタデータ） (2020-06-30T19:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。