論文の概要: StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2403.07807v1
- Date: Tue, 12 Mar 2024 16:44:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 20:29:26.682972
- Title: StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting
- Title(参考訳): stylegaussian: gaussian splattingによるインスタント3dスタイル転送
- Authors: Kunhao Liu, Fangneng Zhan, Muyu Xu, Christian Theobalt, Ling Shao,
Shijian Lu
- Abstract要約: StyleGaussianは、新しい3Dスタイル転送技術である。
任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
- 参考スコア(独自算出の注目度): 141.05924680451804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce StyleGaussian, a novel 3D style transfer technique that allows
instant transfer of any image's style to a 3D scene at 10 frames per second
(fps). Leveraging 3D Gaussian Splatting (3DGS), StyleGaussian achieves style
transfer without compromising its real-time rendering ability and multi-view
consistency. It achieves instant style transfer with three steps: embedding,
transfer, and decoding. Initially, 2D VGG scene features are embedded into
reconstructed 3D Gaussians. Next, the embedded features are transformed
according to a reference style image. Finally, the transformed features are
decoded into the stylized RGB. StyleGaussian has two novel designs. The first
is an efficient feature rendering strategy that first renders low-dimensional
features and then maps them into high-dimensional features while embedding VGG
features. It cuts the memory consumption significantly and enables 3DGS to
render the high-dimensional memory-intensive features. The second is a
K-nearest-neighbor-based 3D CNN. Working as the decoder for the stylized
features, it eliminates the 2D CNN operations that compromise strict multi-view
consistency. Extensive experiments show that StyleGaussian achieves instant 3D
stylization with superior stylization quality while preserving real-time
rendering and strict multi-view consistency. Project page:
https://kunhao-liu.github.io/StyleGaussian/
- Abstract(参考訳): そこで本稿では,任意の画像のスタイルを毎秒10フレーム(fps)の3dシーンに瞬時に転送する,新しい3dスタイル転送技術であるstylegaussianを紹介する。
3D Gaussian Splatting(3DGS)を活用して、StyleGaussianはリアルタイムレンダリング能力とマルチビュー一貫性を損なうことなくスタイル転送を実現する。
埋め込み、転送、デコードという3つのステップでインスタントスタイル転送を実現する。
当初、2DのVGGシーンは再構築された3Dガウスに埋め込まれていた。
次に、埋め込み機能は、参照スタイルイメージに従って変換される。
最後に、変換された機能は、スタイリングされたRGBにデコードされる。
StyleGaussianには2つの新しいデザインがある。
まず、低次元の機能をレンダリングし、vgg機能を埋め込みながら高次元のフィーチャにマップする、効率的な機能レンダリング戦略です。
メモリ消費を大幅に削減し、3DGSが高次元のメモリ集約機能をレンダリングできるようにする。
2つ目はK-nearest-neighborベースの3D CNNである。
スタイル化された機能のデコーダとして機能し、厳密なマルチビュー一貫性を損なう2D CNN操作を排除する。
拡張実験により、StyleGaussianはリアルタイムレンダリングと厳密なマルチビュー一貫性を維持しながら、より優れたスタイリゼーション品質のインスタント3Dスタイリングを実現することが示された。
プロジェクトページ: https://kunhao-liu.github.io/stylegaussian/
関連論文リスト
- Compact 3D Scene Representation via Self-Organizing Gaussian Grids [11.604386285817302]
局所的均一性を持つ2次元格子に3次元ガウス格子のパラメータを整理したコンパクトなシーン表現を導入する。
本手法は,3次元シーンの分布と消費の領域において,トレーニング時間の増加を伴わず,複雑なシーンの8倍から26倍の縮小係数を達成している。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - Gaussian Shell Maps for Efficient 3D Human Generation [96.25056237689988]
3次元生成敵ネットワーク(GAN)は、生成資産の最先端(SOTA)品質と多様性を実証している。
しかし、現在の3D GANアーキテクチャはレンダリングが遅いボリューム表現に依存しており、GANのトレーニングを妨害し、マルチビュー非一貫性の2Dアップサンプラーを必要とする。
論文 参考訳(メタデータ) (2023-11-29T18:04:07Z) - 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳(メタデータ) (2023-11-09T15:51:27Z) - HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。
本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-19T07:22:05Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳(メタデータ) (2023-03-19T08:26:06Z) - NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style
Transfer [5.442253227842167]
ビデオスタイルの転送は、時間的一貫性を維持しつつ、スタイルイメージに類似したフォトリアリスティックなスタイルで生成することが望まれる。
既存の方法はフレーム単位のフォトリアリスティックなスタイル転送を行うことで、非効率で、タイマライズされたビデオの時間的一貫性が保証されない、スタイリングされたビデオシーケンスを得る。
まず、大規模なデータセット上でスタイリングされた3D LUTを生成するニューラルネットワークをトレーニングし、次に、特定のビデオに対してフォトリアリスティックなスタイル転送を行う際に、ビデオ内のビデオとスタイルイメージをデータソースとして選択し、ニューラルネットワークを微調整する。
最後に、ファインによって生成される3D LUTを問い合わせる。
論文 参考訳(メタデータ) (2023-03-16T09:27:40Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。