論文の概要: StylizedGS: Controllable Stylization for 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.05220v1
- Date: Mon, 8 Apr 2024 06:32:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 15:23:43.574610
- Title: StylizedGS: Controllable Stylization for 3D Gaussian Splatting
- Title（参考訳）: StylizedGS:3次元ガウス平滑化のための制御可能なスティル化
- Authors: Dingxi Zhang, Zhuoxun Chen, Yu-Jie Yuan, Fang-Lue Zhang, Zhenliang He, Shiguang Shan, Lin Gao,
- Abstract要約: StylizedGSは、3D Gaussian Splatting表現に基づいて知覚因子を適応的に制御できる3Dニューラルスタイルのトランスファーフレームワークである。
本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
- 参考スコア（独自算出の注目度）: 53.0225128090909
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of XR, 3D generation and editing are becoming more and more important, among which, stylization is an important tool of 3D appearance editing. It can achieve consistent 3D artistic stylization given a single reference style image and thus is a user-friendly editing way. However, recent NeRF-based 3D stylization methods face efficiency issues that affect the actual user experience and the implicit nature limits its ability to transfer the geometric pattern styles. Additionally, the ability for artists to exert flexible control over stylized scenes is considered highly desirable, fostering an environment conducive to creative exploration. In this paper, we introduce StylizedGS, a 3D neural style transfer framework with adaptable control over perceptual factors based on 3D Gaussian Splatting (3DGS) representation. The 3DGS brings the benefits of high efficiency. We propose a GS filter to eliminate floaters in the reconstruction which affects the stylization effects before stylization. Then the nearest neighbor-based style loss is introduced to achieve stylization by fine-tuning the geometry and color parameters of 3DGS, while a depth preservation loss with other regularizations is proposed to prevent the tampering of geometry content. Moreover, facilitated by specially designed losses, StylizedGS enables users to control color, stylized scale and regions during the stylization to possess customized capabilities. Our method can attain high-quality stylization results characterized by faithful brushstrokes and geometric consistency with flexible controls. Extensive experiments across various scenes and styles demonstrate the effectiveness and efficiency of our method concerning both stylization quality and inference FPS.
- Abstract（参考訳）: XRの急速な発展に伴い、3D生成と編集がますます重要になってきており、その中でもスタイリゼーションは3D外観編集の重要なツールである。
単一の参照スタイルのイメージによって、一貫した3D芸術的なスタイリゼーションを実現することができ、ユーザフレンドリーな編集方法である。
しかし、最近のNeRFベースの3Dスタイリング手法は、実際のユーザエクスペリエンスに影響を与える効率の問題に直面しており、暗黙的な性質は、幾何学的なパターンスタイルを転送する能力を制限している。
さらに、アーティストがスタイリングされたシーンを柔軟にコントロールできる能力は非常に望ましいと考えられており、創造的な探検に結びつく環境が育まれている。
本稿では,3次元ガウススプラッティング(3DGS)表現に基づく知覚因子を適応的に制御する3DニューラルスタイルトランスファーフレームワークであるStylizedGSを紹介する。
3DGSは高効率の利点をもたらす。
本研究では,スタイリゼーション前のスタイリゼーション効果に影響を与えるリコンストラクションにおいて,フロータを除去するGSフィルタを提案する。
次に、3DGSの幾何学的パラメータと色パラメータを微調整することにより、最も近い隣り合うスタイルの損失をスタイリングするために導入し、また、他の正規化による深度保存の損失は、幾何学的内容の改ざんを防ぐために提案する。
さらに、特別に設計された損失により、StylizedGSは、ユーザがスタイリング中に色、スタイリングされたスケール、リージョンを制御でき、カスタマイズされた機能を持つことができる。
本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
各種シーンおよびスタイルにわたる広範囲な実験により,スタイル化品質と推論FPSの両方に関して,本手法の有効性と有効性を示した。
関連論文リスト
- StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。
本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。
様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
論文 参考訳（メタデータ） (2024-07-12T17:55:08Z) - CoARF: Controllable 3D Artistic Style Transfer for Radiance Fields [7.651502365257349]
本稿では,制御可能な3Dシーンスタイリングのための新しいアルゴリズムであるCoARFを紹介する。
CoARFは、ユーザが指定したスタイル転送の制御性と、より正確な特徴マッチングを備えた優れたスタイル転送品質を提供する。
論文 参考訳（メタデータ） (2024-04-23T12:22:32Z) - 3DStyleGLIP: Part-Tailored Text-Guided 3D Neural Stylization [1.2499537119440243]
3DStyleGLIPはテキスト駆動、3Dスタイリング用に特別に設計された新しいフレームワークである。
提案手法は, 3次元スタイリゼーションの分野を推し進める上で有望な可能性を示し, パートワイドなスタイリゼーション機能を実現する。
論文 参考訳（メタデータ） (2024-04-03T10:44:06Z) - StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
StyleGaussianは、新しい3Dスタイル転送技術である。
任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
論文 参考訳（メタデータ） (2024-03-12T16:44:52Z) - DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。
階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。
提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
論文 参考訳（メタデータ） (2023-09-08T16:17:45Z) - ARF-Plus: Controlling Perceptual Factors in Artistic Radiance Fields for
3D Scene Stylization [11.841897748330302]
レイディアンス・フィールド・スタイル・トランスファー(Radiance Field style transfer)は、3Dシーン・スタイル化の手段として最近人気を博した新興分野である。
我々は、放射場スタイルの伝達における研究のギャップ、十分な知覚制御能力の欠如について強調する。
ARF-Plusは、知覚因子の管理可能な制御を提供する3Dニューラルスタイルのトランスファーフレームワークである。
論文 参考訳（メタデータ） (2023-08-23T22:22:20Z) - HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。
本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T07:22:05Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳（メタデータ） (2023-03-19T08:26:06Z) - 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style
Variations [81.45521258652734]
本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。
提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
論文 参考訳（メタデータ） (2021-08-30T02:28:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。