論文の概要: Gaussian Splatting in Style
- arxiv url: http://arxiv.org/abs/2403.08498v1
- Date: Wed, 13 Mar 2024 13:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:10:50.985352
- Title: Gaussian Splatting in Style
- Title(参考訳): ガウス鋳型
- Authors: Abhishek Saroha, Mariia Gladkova, Cecilia Curreli, Tarun Yenamandra,
Daniel Cremers
- Abstract要約: テスト時に高品質なスタイリングされた新しいビューを生成できる,スタイルイメージのコレクションをトレーニングした新しいアーキテクチャを提案する。
本研究では,室内および屋外の様々な実世界のデータに対して,視覚的品質の優れた最先端性能を実現する方法を示す。
- 参考スコア(独自算出の注目度): 35.376015119962354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scene stylization extends the work of neural style transfer to three spatial
dimensions. A vital challenge in this problem is to maintain the uniformity of
the stylized appearance across a multi-view setting. A vast majority of the
previous works achieve this by optimizing the scene with a specific style
image. In contrast, we propose a novel architecture trained on a collection of
style images, that at test time produces high quality stylized novel views. Our
work builds up on the framework of 3D Gaussian splatting. For a given scene, we
take the pretrained Gaussians and process them using a multi resolution hash
grid and a tiny MLP to obtain the conditional stylised views. The explicit
nature of 3D Gaussians give us inherent advantages over NeRF-based methods
including geometric consistency, along with having a fast training and
rendering regime. This enables our method to be useful for vast practical use
cases such as in augmented or virtual reality applications. Through our
experiments, we show our methods achieve state-of-the-art performance with
superior visual quality on various indoor and outdoor real-world data.
- Abstract(参考訳): シーンスタイリゼーションは、ニューラルスタイル転送の作業を3次元に拡張する。
この問題における重要な課題は、多視点でスタイリングされた外観の均一性を維持することである。
以前の作品の大半は、シーンを特定のスタイルのイメージで最適化することでこれを達成している。
対照的に、テスト時に高品質なスタイリングされた新しいビューを生成するスタイルイメージのコレクションに基づいて訓練された新しいアーキテクチャを提案する。
我々の研究は3Dガウススプラッティングの枠組みの上に成り立っている。
与えられたシーンに対して、事前学習したガウスアンをマルチ解像度のハッシュグリッドと小さなMLPを使って処理し、条件付きスタイリングされたビューを得る。
3Dガウスの明示的な性質は、幾何整合性を含むNeRFベースの手法に対して、高速なトレーニングとレンダリングの仕組みを持つという固有の利点を与えてくれる。
これにより、拡張現実やバーチャルリアリティーアプリケーションのような膨大なユースケースにおいて、本手法が有用となる。
実験により,室内および屋外の様々な実世界のデータに対して,視覚的品質に優れた最先端の性能が得られることを示す。
関連論文リスト
- VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - Instant Neural Radiance Fields Stylization [1.6244541005112747]
Instant Neural Radiance Fields Stylizationは3Dシーンのマルチビュー画像スタイリングのための新しいアプローチである。
我々のアプローチは、位置埋め込みにハッシュテーブルベースの位置エンコーダを使用するニューラルネットワークプリミティブに基づく神経放射場をモデル化する。
最新のGPUハードウェアでは10分以内で、様々な角度で一貫した外観でスタイリングされた新しいビューを生成することができる。
論文 参考訳(メタデータ) (2023-03-29T17:53:20Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:55:31Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2021-05-27T09:11:30Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳(メタデータ) (2021-02-25T18:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。