論文の概要: StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2403.07807v1
• Date: Tue, 12 Mar 2024 16:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 20:29:26.682972
• Title: StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting
• Title（参考訳）: stylegaussian: gaussian splattingによるインスタント3dスタイル転送
• Authors: Kunhao Liu, Fangneng Zhan, Muyu Xu, Christian Theobalt, Ling Shao, Shijian Lu
• Abstract要約: StyleGaussianは、新しい3Dスタイル転送技術である。 任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
• 参考スコア（独自算出の注目度）: 141.05924680451804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce StyleGaussian, a novel 3D style transfer technique that allows instant transfer of any image's style to a 3D scene at 10 frames per second (fps). Leveraging 3D Gaussian Splatting (3DGS), StyleGaussian achieves style transfer without compromising its real-time rendering ability and multi-view consistency. It achieves instant style transfer with three steps: embedding, transfer, and decoding. Initially, 2D VGG scene features are embedded into reconstructed 3D Gaussians. Next, the embedded features are transformed according to a reference style image. Finally, the transformed features are decoded into the stylized RGB. StyleGaussian has two novel designs. The first is an efficient feature rendering strategy that first renders low-dimensional features and then maps them into high-dimensional features while embedding VGG features. It cuts the memory consumption significantly and enables 3DGS to render the high-dimensional memory-intensive features. The second is a K-nearest-neighbor-based 3D CNN. Working as the decoder for the stylized features, it eliminates the 2D CNN operations that compromise strict multi-view consistency. Extensive experiments show that StyleGaussian achieves instant 3D stylization with superior stylization quality while preserving real-time rendering and strict multi-view consistency. Project page: https://kunhao-liu.github.io/StyleGaussian/
• Abstract（参考訳）: そこで本稿では,任意の画像のスタイルを毎秒10フレーム(fps)の3dシーンに瞬時に転送する,新しい3dスタイル転送技術であるstylegaussianを紹介する。 3D Gaussian Splatting(3DGS)を活用して、StyleGaussianはリアルタイムレンダリング能力とマルチビュー一貫性を損なうことなくスタイル転送を実現する。 埋め込み、転送、デコードという3つのステップでインスタントスタイル転送を実現する。 当初、2DのVGGシーンは再構築された3Dガウスに埋め込まれていた。 次に、埋め込み機能は、参照スタイルイメージに従って変換される。 最後に、変換された機能は、スタイリングされたRGBにデコードされる。 StyleGaussianには2つの新しいデザインがある。 まず、低次元の機能をレンダリングし、vgg機能を埋め込みながら高次元のフィーチャにマップする、効率的な機能レンダリング戦略です。 メモリ消費を大幅に削減し、3DGSが高次元のメモリ集約機能をレンダリングできるようにする。 2つ目はK-nearest-neighborベースの3D CNNである。 スタイル化された機能のデコーダとして機能し、厳密なマルチビュー一貫性を損なう2D CNN操作を排除する。 拡張実験により、StyleGaussianはリアルタイムレンダリングと厳密なマルチビュー一貫性を維持しながら、より優れたスタイリゼーション品質のインスタント3Dスタイリングを実現することが示された。 プロジェクトページ: https://kunhao-liu.github.io/stylegaussian/

関連論文リスト

• WaSt-3D: Wasserstein-2 Distance for Scene-to-Scene Stylization on 3D Gaussians [37.139479729087896]
  We developed a new style transfer method for 3D scene called WaSt-3D。 トレーニングを必要とせずに、スタイルシーンからコンテンツシーンに詳細を忠実に転送する。 WaSt-3Dは、トレーニングを必要とせずに、さまざまなコンテンツやスタイルシーンに一貫して結果を提供する。
  論文  参考訳（メタデータ） (2024-09-26T15:02:50Z)
• InstantStyleGaussian: Efficient Art Style Transfer with 3D Gaussian Splatting [1.495965529797126]
  InstantStyleGaussianは3D Gaussian Splatting(3DGS)シーン表現に基づく革新的な3Dスタイルのトランスファー手法である。 ターゲットスタイルの画像を入力することで、新しい3DGSシーンを素早く生成する。
  論文  参考訳（メタデータ） (2024-08-08T06:29:32Z)
• StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
  スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。 本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。 様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
  論文  参考訳（メタデータ） (2024-07-12T17:55:08Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
  3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。 本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。 本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
  論文  参考訳（メタデータ） (2023-12-19T20:18:29Z)
• Gaussian Shell Maps for Efficient 3D Human Generation [96.25056237689988]
  3次元生成敵ネットワーク(GAN)は、生成資産の最先端(SOTA)品質と多様性を実証している。 しかし、現在の3D GANアーキテクチャはレンダリングが遅いボリューム表現に依存しており、GANのトレーニングを妨害し、マルチビュー非一貫性の2Dアップサンプラーを必要とする。
  論文  参考訳（メタデータ） (2023-11-29T18:04:07Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。