論文の概要: StylizedGS: Controllable Stylization for 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.05220v2
- Date: Tue, 13 Aug 2024 03:43:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 22:35:04.022816
- Title: StylizedGS: Controllable Stylization for 3D Gaussian Splatting
- Title（参考訳）: StylizedGS:3次元ガウス平滑化のための制御可能なスティル化
- Authors: Dingxi Zhang, Yu-Jie Yuan, Zhuoxun Chen, Fang-Lue Zhang, Zhenliang He, Shiguang Shan, Lin Gao,
- Abstract要約: StylizedGSは知覚因子を適応的に制御する効率的な3Dニューラルスタイル転送フレームワークである。
本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
- 参考スコア（独自算出の注目度）: 53.0225128090909
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As XR technology continues to advance rapidly, 3D generation and editing are increasingly crucial. Among these, stylization plays a key role in enhancing the appearance of 3D models. By utilizing stylization, users can achieve consistent artistic effects in 3D editing using a single reference style image, making it a user-friendly editing method. However, recent NeRF-based 3D stylization methods encounter efficiency issues that impact the user experience, and their implicit nature limits their ability to accurately transfer geometric pattern styles. Additionally, the ability for artists to apply flexible control over stylized scenes is considered highly desirable to foster an environment conducive to creative exploration. To address the above issues, we introduce StylizedGS, an efficient 3D neural style transfer framework with adaptable control over perceptual factors based on 3D Gaussian Splatting (3DGS) representation. We propose a filter-based refinement to eliminate floaters that affect the stylization effects in the scene reconstruction process. The nearest neighbor-based style loss is introduced to achieve stylization by fine-tuning the geometry and color parameters of 3DGS, while a depth preservation loss with other regularizations is proposed to prevent the tampering of geometry content. Moreover, facilitated by specially designed losses, StylizedGS enables users to control color, stylized scale, and regions during the stylization to possess customization capabilities. Our method achieves high-quality stylization results characterized by faithful brushstrokes and geometric consistency with flexible controls. Extensive experiments across various scenes and styles demonstrate the effectiveness and efficiency of our method concerning both stylization quality and inference speed.
- Abstract（参考訳）: XR技術は急速に進歩し続けており、3D生成と編集がますます重要になっている。
これらのうち、スタイリングは3Dモデルの外観を高める上で重要な役割を担っている。
スタイリゼーションを利用することで、ユーザーは単一の参照スタイル画像を用いて3D編集において一貫した芸術効果を達成でき、ユーザフレンドリーな編集方法となる。
しかし、最近のNeRFベースの3Dスタイリング手法は、ユーザエクスペリエンスに影響を与える効率の問題に遭遇し、その暗黙的な性質は、幾何学的なパターンスタイルを正確に転送する能力を制限している。
さらに、アーティストがスタイリングされたシーンに対してフレキシブルなコントロールを適用する能力は、創造的な探索に寄与する環境を育むのに非常に望ましいと考えられている。
上記の問題に対処するために,3Dガウススプラッティング(3DGS)表現に基づく知覚因子の適応制御が可能な,効率的な3Dニューラルスタイル転送フレームワークであるStylizedGSを紹介した。
本研究では,シーン再構築過程におけるスタイリゼーション効果に影響を与えるフロータを除去するフィルタによる改良手法を提案する。
3DGSの幾何学的パラメータと色パラメータを微調整することで、最も近い隣り合うスタイルの損失をスタイリングするために導入する一方、他の正規化による深度保存の損失は、幾何学的内容の改ざんを防ぐために提案する。
さらに、特別に設計された損失により、StylizedGSは、ユーザがカスタマイズ機能を持つように、スタイリング中に色、スタイリングされたスケール、リージョンを制御することができる。
本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
各種シーンおよびスタイルにわたる広範囲な実験により,スタイライズ品質と推論速度の両面において,本手法の有効性と有効性を示した。
関連論文リスト
- StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。
本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。
様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
論文 参考訳（メタデータ） (2024-07-12T17:55:08Z) - CoARF: Controllable 3D Artistic Style Transfer for Radiance Fields [7.651502365257349]
本稿では,制御可能な3Dシーンスタイリングのための新しいアルゴリズムであるCoARFを紹介する。
CoARFは、ユーザが指定したスタイル転送の制御性と、より正確な特徴マッチングを備えた優れたスタイル転送品質を提供する。
論文 参考訳（メタデータ） (2024-04-23T12:22:32Z) - 3DStyleGLIP: Part-Tailored Text-Guided 3D Neural Stylization [1.2499537119440243]
3DStyleGLIPはテキスト駆動、3Dスタイリング用に特別に設計された新しいフレームワークである。
提案手法は, 3次元スタイリゼーションの分野を推し進める上で有望な可能性を示し, パートワイドなスタイリゼーション機能を実現する。
論文 参考訳（メタデータ） (2024-04-03T10:44:06Z) - GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。
提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-01T18:14:42Z) - DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。
階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。
提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
論文 参考訳（メタデータ） (2023-09-08T16:17:45Z) - ARF-Plus: Controlling Perceptual Factors in Artistic Radiance Fields for
3D Scene Stylization [11.841897748330302]
レイディアンス・フィールド・スタイル・トランスファー(Radiance Field style transfer)は、3Dシーン・スタイル化の手段として最近人気を博した新興分野である。
我々は、放射場スタイルの伝達における研究のギャップ、十分な知覚制御能力の欠如について強調する。
ARF-Plusは、知覚因子の管理可能な制御を提供する3Dニューラルスタイルのトランスファーフレームワークである。
論文 参考訳（メタデータ） (2023-08-23T22:22:20Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳（メタデータ） (2023-03-19T08:26:06Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:55:31Z) - 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style
Variations [81.45521258652734]
本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。
提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
論文 参考訳（メタデータ） (2021-08-30T02:28:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。