論文の概要: Neural Surface Priors for Editable Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2411.18311v2
- Date: Fri, 07 Feb 2025 23:21:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 16:44:24.568964
- Title: Neural Surface Priors for Editable Gaussian Splatting
- Title（参考訳）: 編集可能なガウススプレイティングのためのニューラルサーフェスプライオリティ
- Authors: Jakub Szymkowiak, Weronika Jakubowska, Dawid Malarz, Weronika Smolak-Dyżewska, Maciej Zięba, Przemyslaw Musialski, Wojtek Pałubicki, Przemysław Spurek,
- Abstract要約: 本稿では,3次元ガウススプラッティングと暗黙の面表現を組み合わせた新しい手法を提案する。
提案手法は,ニューラルサインされた距離場を用いてシーン表面を再構成する。
編集を容易にするために,視覚的および幾何学的情報を軽量な三角形スーププロキシにエンコードする。
- 参考スコア（独自算出の注目度）: 1.4153509273019282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In computer graphics and vision, recovering easily modifiable scene appearance from image data is crucial for applications such as content creation. We introduce a novel method that integrates 3D Gaussian Splatting with an implicit surface representation, enabling intuitive editing of recovered scenes through mesh manipulation. Starting with a set of input images and camera poses, our approach reconstructs the scene surface using a neural signed distance field. This neural surface acts as a geometric prior guiding the training of Gaussian Splatting components, ensuring their alignment with the scene geometry. To facilitate editing, we encode the visual and geometric information into a lightweight triangle soup proxy. Edits applied to the mesh extracted from the neural surface propagate seamlessly through this intermediate structure to update the recovered appearance. Unlike previous methods relying on the triangle soup proxy representation, our approach supports a wider range of modifications and fully leverages the mesh topology, enabling a more flexible and intuitive editing process. The complete source code for this project can be accessed at: https://github.com/WJakubowska/NeuralSurfacePriors.
- Abstract（参考訳）: コンピュータグラフィックスとビジョンでは、画像データから容易に変更可能なシーンの外観を復元することが、コンテンツ作成のようなアプリケーションにとって重要である。
本稿では,3次元ガウススティングと暗黙の面表現を統合し,メッシュ操作による復元シーンの直感的な編集を可能にする手法を提案する。
入力画像とカメラポーズのセットから始めて,我々はニューラルサインされた距離場を用いてシーン表面を再構成する。
この神経表面は、ガウス散乱成分のトレーニングを先導する幾何学的な先導として機能し、シーン幾何学との整合性を確保する。
編集を容易にするために,視覚的および幾何学的情報を軽量な三角形スーププロキシにエンコードする。
神経表面から抽出されたメッシュに適用される編集は、この中間構造を通してシームレスに伝播し、回復した外観を更新する。
従来の三角形のスーププロキシ表現に依存していた手法とは異なり、我々の手法はより広範囲の修正をサポートし、メッシュトポロジを完全に活用することで、より柔軟で直感的な編集プロセスを実現できる。
このプロジェクトの完全なソースコードは、https://github.com/WJakubowska/NeuralSurfacePriorsでアクセスすることができる。
関連論文リスト
- MeshPad: Interactive Sketch-Conditioned Artist-Designed Mesh Generation and Editing [64.84885028248395]
MeshPadは、スケッチ入力から3Dメッシュを生成するジェネレーティブなアプローチである。
我々は、メッシュの領域の"削除"に編集を分解し、新しいメッシュ幾何学の"追加"に続き、一貫した編集を可能にすることに重点を置いている。
提案手法は,メッシュ三角形の追加と削除のために,大規模なTransformerモデルを利用した三角形列に基づくメッシュ表現に基づいている。
論文 参考訳（メタデータ） (2025-03-03T11:27:44Z) - Reference-based Controllable Scene Stylization with Gaussian Splatting [30.321151430263946]
コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。
参照型スタイリゼーションに3Dガウススティング(3DGS)を適用し,リアルタイムなスタイリゼーションを実現するReGSを提案する。
論文 参考訳（メタデータ） (2024-07-09T20:30:29Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳（メタデータ） (2024-02-02T14:50:23Z) - Mesh-Guided Neural Implicit Field Editing [42.78979161815414]
本稿では,ニューラルネットワークの編集におけるガイド機構としてメッシュを用いた新しいアプローチを提案する。
まず,ニューラル暗黙フィールドから多角形メッシュ抽出のためのマーチングテトラヘドラを用いた微分可能手法を提案する。
次に、この抽出メッシュにボリュームレンダリングから得られた色を割り当てるために、微分可能な色抽出器を設計する。
この差別化可能なカラーメッシュは、暗黙のメッシュから暗示のフィールドへの勾配のバックプロパゲーションを可能にし、ニューラルな暗示のフィールドの幾何学と色をユーザが容易に操作できるようにする。
論文 参考訳（メタデータ） (2023-12-04T18:59:58Z) - GaussianEditor: Swift and Controllable 3D Editing with Gaussian
Splatting [66.08674785436612]
3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。
メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。
本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
論文 参考訳（メタデータ） (2023-11-24T14:46:59Z) - Parameterization-driven Neural Surface Reconstruction for Object-oriented Editing in Neural Rendering [35.69582529609475]
本稿では,ニューラル暗黙表面を球面やポリキューブのような単純なパラメトリック領域にパラメータ化するための新しいニューラルアルゴリズムを提案する。
オブジェクトのゼロレベルセットからの前方マッピングと後方マッピングのための逆変形を用いて、オブジェクトとドメイン間の双方向の変形を計算する。
本手法の有効性を人間の頭部と人工物の画像に示す。
論文 参考訳（メタデータ） (2023-10-09T08:42:40Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳（メタデータ） (2023-10-09T04:07:00Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - NeuralMeshing: Differentiable Meshing of Implicit Neural Representations [63.18340058854517]
ニューラルな暗黙表現から表面メッシュを抽出する新しい微分可能なメッシュアルゴリズムを提案する。
本手法は,通常のテッセルレーションパターンと,既存の手法に比べて三角形面の少ないメッシュを生成する。
論文 参考訳（メタデータ） (2022-10-05T16:52:25Z) - 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。
メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
論文 参考訳（メタデータ） (2022-09-28T10:05:16Z) - NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for
Geometry and Texture Editing [39.71252429542249]
本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。
メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。
実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
論文 参考訳（メタデータ） (2022-07-25T05:30:50Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Deep Geometric Texture Synthesis [83.9404865744028]
幾何学的テクスチャを合成するための新しい枠組みを提案する。
単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。
我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
論文 参考訳（メタデータ） (2020-06-30T19:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。