論文の概要: StyleMe3D: Stylization with Disentangled Priors by Multiple Encoders on 3D Gaussians
- arxiv url: http://arxiv.org/abs/2504.15281v1
- Date: Mon, 21 Apr 2025 17:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 15:50:00.959282
- Title: StyleMe3D: Stylization with Disentangled Priors by Multiple Encoders on 3D Gaussians
- Title(参考訳): StyleMe3D:3次元ガウス上の複数エンコーダによる乱れ前処理によるスティル化
- Authors: Cailin Zhuang, Yaoqi Hu, Xuanyang Zhang, Wei Cheng, Jiacheng Bao, Shengqi Liu, Yiying Yang, Xianfang Zeng, Gang Yu, Ming Li,
- Abstract要約: StyleMe3Dは3D GSスタイルの転送のための総合的なフレームワークである。
マルチモーダルスタイルのコンディショニング、マルチレベルセマンティックアライメント、知覚的品質向上を統合している。
この作品は、フォトリアリスティックな3D GSと芸術的なスタイリング、ゲーム、バーチャルワールド、デジタルアートのアンロックを橋渡しする。
- 参考スコア(独自算出の注目度): 23.1385740508835
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: 3D Gaussian Splatting (3DGS) excels in photorealistic scene reconstruction but struggles with stylized scenarios (e.g., cartoons, games) due to fragmented textures, semantic misalignment, and limited adaptability to abstract aesthetics. We propose StyleMe3D, a holistic framework for 3D GS style transfer that integrates multi-modal style conditioning, multi-level semantic alignment, and perceptual quality enhancement. Our key insights include: (1) optimizing only RGB attributes preserves geometric integrity during stylization; (2) disentangling low-, medium-, and high-level semantics is critical for coherent style transfer; (3) scalability across isolated objects and complex scenes is essential for practical deployment. StyleMe3D introduces four novel components: Dynamic Style Score Distillation (DSSD), leveraging Stable Diffusion's latent space for semantic alignment; Contrastive Style Descriptor (CSD) for localized, content-aware texture transfer; Simultaneously Optimized Scale (SOS) to decouple style details and structural coherence; and 3D Gaussian Quality Assessment (3DG-QA), a differentiable aesthetic prior trained on human-rated data to suppress artifacts and enhance visual harmony. Evaluated on NeRF synthetic dataset (objects) and tandt db (scenes) datasets, StyleMe3D outperforms state-of-the-art methods in preserving geometric details (e.g., carvings on sculptures) and ensuring stylistic consistency across scenes (e.g., coherent lighting in landscapes), while maintaining real-time rendering. This work bridges photorealistic 3D GS and artistic stylization, unlocking applications in gaming, virtual worlds, and digital art.
- Abstract(参考訳): 3D Gaussian Splatting (3DGS)は、フォトリアリスティックなシーン再構築に優れていますが、断片化されたテクスチャ、セマンティックなミスアライメント、抽象的な美学への適応性に制限があるため、スタイル化されたシナリオ(漫画、ゲームなど)に苦労しています。
マルチモーダル・スタイル・コンディショニング,マルチレベル・セマンティックアライメント,知覚的品質向上を統合した3D GS スタイル・トランスファーのための総合的なフレームワークである StyleMe3D を提案する。
1)RGB属性のみを最適化することは、スタイリゼーション中の幾何学的整合性を保ち、(2)低・中・高レベルのセマンティクスの分離はコヒーレントなスタイル転送に不可欠である。
StyleMe3Dは4つの新しいコンポーネントを紹介している: Dynamic Style Score Distillation (DSSD)、静的なコンテクスチャ転送のためのContrastive Style Descriptor (CSD)、スタイルの詳細と構造的コヒーレンスを分離するための同時最適化スケール(SOS)、3D Gaussian Quality Assessment (3DG-QA)。
NeRF合成データセット(オブジェクト)とTandt db(シーン)データセットに基づいて評価され、StyleMe3Dは、幾何学的詳細(彫刻の彫刻など)の保存と、シーン(風景のコヒーレントな照明など)間のスタイル整合性の確保を、リアルタイムレンダリングを維持しながら、最先端の手法より優れている。
この作品は、フォトリアリスティックな3D GSと芸術的なスタイリング、ゲーム、バーチャルワールド、デジタルアートのアンロックを橋渡しする。
関連論文リスト
- Visibility-Uncertainty-guided 3D Gaussian Inpainting via Scene Conceptional Learning [63.94919846010485]
3DGI)は、複数の入力ビューから補完的な視覚的・意味的手がかりを効果的に活用することが困難である。
本稿では,異なる入力ビュー間での3Dポイントの視認性不確実性を計測し,それらを用いて3DGIを誘導する手法を提案する。
ViSibility-uncerTainty-guided 3DGIとシーンコンセプトAl学習を統合し,新しい3DGIフレームワークであるVISTAを構築した。
論文 参考訳(メタデータ) (2025-04-23T06:21:11Z) - ArtNVG: Content-Style Separated Artistic Neighboring-View Gaussian Stylization [4.362923197888669]
ArtNVGは、レファレンススタイルのイメージを活用することで、スタイリングされた3Dシーンを効率的に生成する革新的な3Dスタイリングフレームワークである。
本フレームワークは,コンテンツスタイル分離制御(Content-Style Separated Control)とAttention-based Neighboring-View Alignment(Neighboring-View Alignment)という,高品質な3Dスタイリングを実現する。
論文 参考訳(メタデータ) (2024-12-25T05:19:52Z) - StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。
本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。
様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
論文 参考訳(メタデータ) (2024-07-12T17:55:08Z) - StylizedGS: Controllable Stylization for 3D Gaussian Splatting [53.0225128090909]
StylizedGSは知覚因子を適応的に制御する効率的な3Dニューラルスタイル転送フレームワークである。
本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
論文 参考訳(メタデータ) (2024-04-08T06:32:11Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳(メタデータ) (2024-03-19T13:39:05Z) - Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects [84.45345829270626]
制御可能な3D屋内シーン合成は、技術進歩の最前線にある。
シーンスタイリングの現在の手法は、シーン全体にスタイルを適用することに限定されている。
室内3Dシーンを合成するためのユニークなパイプラインを提案する。
論文 参考訳(メタデータ) (2024-01-24T03:10:36Z) - FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。
結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。
本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
論文 参考訳(メタデータ) (2024-01-03T20:39:02Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳(メタデータ) (2023-12-13T18:59:30Z) - TADA! Text to Animatable Digital Avatars [57.52707683788961]
TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。
我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。
我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
論文 参考訳(メタデータ) (2023-08-21T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。