論文の概要: Reference-based Controllable Scene Stylization with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2407.07220v1
- Date: Tue, 9 Jul 2024 20:30:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 18:41:00.405296
- Title: Reference-based Controllable Scene Stylization with Gaussian Splatting
- Title（参考訳）: ガウススプレイティングによる参照型制御可能なシーンスティライゼーション
- Authors: Yiqun Mei, Jiacong Xu, Vishal M. Patel,
- Abstract要約: コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。
参照型スタイリゼーションに3Dガウススティング(3DGS)を適用し,リアルタイムなスタイリゼーションを実現するReGSを提案する。
- 参考スコア（独自算出の注目度）: 30.321151430263946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Referenced-based scene stylization that edits the appearance based on a content-aligned reference image is an emerging research area. Starting with a pretrained neural radiance field (NeRF), existing methods typically learn a novel appearance that matches the given style. Despite their effectiveness, they inherently suffer from time-consuming volume rendering, and thus are impractical for many real-time applications. In this work, we propose ReGS, which adapts 3D Gaussian Splatting (3DGS) for reference-based stylization to enable real-time stylized view synthesis. Editing the appearance of a pretrained 3DGS is challenging as it uses discrete Gaussians as 3D representation, which tightly bind appearance with geometry. Simply optimizing the appearance as prior methods do is often insufficient for modeling continuous textures in the given reference image. To address this challenge, we propose a novel texture-guided control mechanism that adaptively adjusts local responsible Gaussians to a new geometric arrangement, serving for desired texture details. The proposed process is guided by texture clues for effective appearance editing, and regularized by scene depth for preserving original geometric structure. With these novel designs, we show ReGs can produce state-of-the-art stylization results that respect the reference texture while embracing real-time rendering speed for free-view navigation.
- Abstract（参考訳）: コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。
トレーニング済みのニューラルラディアンス場(NeRF)から始めると、既存の手法は通常、与えられたスタイルにマッチする新しい外観を学ぶ。
有効性にもかかわらず、それらは本質的に時間を要するボリュームレンダリングに悩まされており、多くのリアルタイムアプリケーションにとって実用的ではない。
本研究では,3次元ガウススティング(3DGS)を参照型スタイリゼーションに適用し,リアルタイムなスタイリゼーション・ビュー・シンセサイザーを実現するReGSを提案する。
事前訓練された3DGSの外観を編集することは、個々のガウスを3D表現として使用し、外観と幾何学を強く結び付けるため困難である。
与えられた参照画像の連続的なテクスチャをモデル化するには、事前の手法として外観を単純に最適化することが不十分であることが多い。
この課題に対処するために、我々は、局所的な責任を持つガウスを新しい幾何学的配置に適応的に調整し、所望のテクスチャの詳細に役立てる新しいテクスチャ誘導制御機構を提案する。
提案手法は, 効果的な外観編集のためのテクスチャヒントによってガイドされ, 元の幾何学的構造を保存するためのシーン深さによって正規化される。
これらの新しい設計により、ReGsは参照テクスチャを尊重し、フリービューナビゲーションのためのリアルタイムレンダリング速度を受け入れながら、最先端のスタイリング結果を生成することができることを示す。
関連論文リスト
- StylizedGS: Controllable Stylization for 3D Gaussian Splatting [53.0225128090909]
StylizedGSは、3D Gaussian Splatting表現に基づいて知覚因子を適応的に制御できる3Dニューラルスタイルのトランスファーフレームワークである。
本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
論文 参考訳（メタデータ） (2024-04-08T06:32:11Z) - DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing [19.437747560051566]
一般的な屋内シーンの高忠実度3D再構成は、VRおよびARアプリケーションにとって不可欠である。
我々は3Dガウススプラッティングを奥行きと通常の手法で拡張し、屋内データセットに挑戦する。
カラー画像の勾配に基づく適応的な深度損失を提案し、深度推定と新しいビュー合成結果を改善した。
論文 参考訳（メタデータ） (2024-03-26T16:00:31Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳（メタデータ） (2024-03-17T07:57:08Z) - Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing [79.10630153776759]
3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。
そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。
提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
論文 参考訳（メタデータ） (2024-03-15T06:42:55Z) - Gaussian Splatting in Style [35.376015119962354]
テスト時に高品質なスタイリングされた新しいビューを生成できる,スタイルイメージのコレクションをトレーニングした新しいアーキテクチャを提案する。
本研究では,室内および屋外の様々な実世界のデータに対して,視覚的品質の優れた最先端性能を実現する方法を示す。
論文 参考訳（メタデータ） (2024-03-13T13:06:31Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for
Geometry and Texture Editing [39.71252429542249]
本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。
メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。
実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
論文 参考訳（メタデータ） (2022-07-25T05:30:50Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:55:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。