論文の概要: Gaussian Splatting in Style
- arxiv url: http://arxiv.org/abs/2403.08498v2
- Date: Fri, 6 Sep 2024 10:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 20:33:48.900393
- Title: Gaussian Splatting in Style
- Title(参考訳): ガウス鋳型
- Authors: Abhishek Saroha, Mariia Gladkova, Cecilia Curreli, Dominik Muhle, Tarun Yenamandra, Daniel Cremers,
- Abstract要約: 3Dシーン化は、ニューラルスタイルの3Dへの移行作業を拡張する。
この問題における重要な課題は、複数の視点でスタイリングされた外観の均一性を維持することである。
本稿では,実時間で高品質なスタイリングされた新しいビューを生成できる,スタイル画像のコレクションを訓練した新しいアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 32.41970914897462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D scene stylization extends the work of neural style transfer to 3D. A vital challenge in this problem is to maintain the uniformity of the stylized appearance across multiple views. A vast majority of the previous works achieve this by training a 3D model for every stylized image and a set of multi-view images. In contrast, we propose a novel architecture trained on a collection of style images that, at test time, produces real time high-quality stylized novel views. We choose the underlying 3D scene representation for our model as 3D Gaussian splatting. We take the 3D Gaussians and process them using a multi-resolution hash grid and a tiny MLP to obtain stylized views. The MLP is conditioned on different style codes for generalization to different styles during test time. The explicit nature of 3D Gaussians gives us inherent advantages over NeRF-based methods, including geometric consistency and a fast training and rendering regime. This enables our method to be useful for various practical use cases, such as augmented or virtual reality. We demonstrate that our method achieves state-of-the-art performance with superior visual quality on various indoor and outdoor real-world data.
- Abstract(参考訳): 3Dシーンのスタイリングは、ニューラルスタイルの3Dへの移行作業を拡張する。
この問題における重要な課題は、複数の視点でスタイリングされた外観の均一性を維持することである。
以前の研究の大部分は、すべてのスタイリングされたイメージと複数のビューイメージのセットの3Dモデルをトレーニングすることで、これを達成している。
これとは対照的に,テスト時に,リアルタイムな高品質なスタイリングされた新しいビューを生成するスタイルイメージの収集を訓練した新しいアーキテクチャを提案する。
本モデルでは,3次元ガウススプラッティングとして,下層の3次元シーン表現を選択する。
我々は3Dガウスアンを多解像度のハッシュグリッドと小さなMLPを使って処理し、スタイリングされたビューを得る。
MLPはテスト期間中に異なるスタイルに一般化するために異なるスタイルのコードで条件付けされている。
3Dガウスの明示的な性質は、幾何整合性や高速なトレーニングとレンダリング機構を含む、NeRFベースの手法よりも本質的に有利である。
これにより,本手法は拡張現実や仮想現実など,様々なユースケースに有用である。
本研究では,室内および屋外の様々な実世界のデータに対して,視覚的品質の優れた最先端性能を実現することを実証する。
関連論文リスト
- StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。
本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。
様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
論文 参考訳(メタデータ) (2024-07-12T17:55:08Z) - Reference-based Controllable Scene Stylization with Gaussian Splatting [30.321151430263946]
コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。
参照型スタイリゼーションに3Dガウススティング(3DGS)を適用し,リアルタイムなスタイリゼーションを実現するReGSを提案する。
論文 参考訳(メタデータ) (2024-07-09T20:30:29Z) - Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder [57.574544285878794]
Ada-Adapterは拡散モデルの少数ショットスタイルのパーソナライズのための新しいフレームワークである。
提案手法は,単一の参照画像を用いたゼロショット方式の効率的な転送を可能にする。
フラットアートや3Dレンダリング,ロゴデザインなど,さまざまな芸術的スタイルに対するアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2024-07-08T02:00:17Z) - SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians [2.2369578015657954]
暗黙の神経表現法は、未構造化画像から3Dシーンを学習する際、顕著な進歩を見せている。
非教師的手法でシーンオブオーダの存在を対処するために、過渡的なガウシアンを訓練する新しいメカニズムを導入する。
論文 参考訳(メタデータ) (2024-03-15T16:00:04Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:55:31Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2021-05-27T09:11:30Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳(メタデータ) (2021-02-25T18:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。