論文の概要: M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2604.03773v1
- Date: Sat, 04 Apr 2026 15:51:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.762722
- Title: M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting
- Title(参考訳): M2StyleGS:ガウススプレイティングによる多モード3Dスタイルトランスファー
- Authors: Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long,
- Abstract要約: そこで本研究では, リアルタイムスタイリング技術であるM2StyleGSを導入し, 高精度なカラーマップビューを生成する。
M2StyleGSは、より優れた視覚的品質を実現し、一貫性の点で、以前の作業よりも32.92%も上回っている。
- 参考スコア(独自算出の注目度): 21.399777116251858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional 3D style transfer methods rely on a fixed reference image to apply artistic patterns to 3D scenes. However, in practical applications such as virtual or augmented reality, users often prefer more flexible inputs, including textual descriptions and diverse imagery. In this work, we introduce a novel real-time styling technique M2StyleGS to generate a sequence of precisely color-mapped views. It utilizes 3D Gaussian Splatting (3DGS) as a 3D presentation and multi-modality knowledge refined by CLIP as a reference style. M2StyleGS resolves the abnormal transformation issue by employing a precise feature alignment, namely subdivisive flow, it strengthens the projection of the mapped CLIP text-visual combination feature to the VGG style feature. In addition, we introduce observation loss, which assists in the stylized scene better matching the reference style during the generation, and suppression loss, which suppresses the offset of reference color information throughout the decoding process. By integrating these approaches, M2StyleGS can employ text or images as references to generate a set of style-enhanced novel views. Our experiments show that M2StyleGS achieves better visual quality and surpasses the previous work by up to 32.92% in terms of consistency.
- Abstract(参考訳): 従来の3Dスタイルの転送方法は、3Dシーンに芸術的パターンを適用するために固定された参照画像に依存している。
しかし、仮想現実や拡張現実のような現実的な応用では、ユーザーはテキスト記述や多様な画像を含むより柔軟な入力を好むことが多い。
本研究では, リアルタイムスタイリング技術であるM2StyleGSを導入し, 高精度なカラーマップビューを生成する。
3D Gaussian Splatting(3DGS)を3Dプレゼンテーションとして、CLIPによって改良されたマルチモダリティ知識をリファレンススタイルとして使用しています。
M2StyleGSは、正確な特徴アライメント、すなわち細分化フローを用いることで、VGGスタイルの機能にマッピングされたCLIPテキストと視覚の組み合わせ機能のプロジェクションを強化することで、異常な変換問題を解決する。
さらに、生成時の参照スタイルの整合性を向上するスタイリングシーンを支援する観察損失や、デコードプロセスを通して参照色情報のオフセットを抑制する抑制損失も導入する。
これらのアプローチを統合することで、M2StyleGSはテキストやイメージを参照として使用して、一連のスタイル強化されたノベルビューを生成することができる。
実験の結果,M2StyleGSは視覚的品質が向上し,従来よりも32.92%も向上していることがわかった。
関連論文リスト
- Improved 3D Scene Stylization via Text-Guided Generative Image Editing with Region-Based Control [47.14550252881733]
ビューの整合性を保ちながら3次元スタイリゼーションの質を高める技術を導入し、任意の地域制御型スタイル転送を提供する。
本手法は,ソースビューのマルチビュー2D画像を用いて,初期3次元表現を再学習することで,スタイリゼーションを実現する。
本稿では,市販モデルのセグメンテーションマスクを用いて,異なる画像領域にスタイルを適用可能なマルチRegion Importance-Weighted Sliced Wasserstein Distance Lossを提案する。
論文 参考訳(メタデータ) (2025-09-04T15:01:01Z) - FantasyStyle: Controllable Stylized Distillation for 3D Gaussian Splatting [7.778588010132252]
3DGSベースのスタイル転送フレームワークである textbfFantasyStyle を導入する。
我々は,多視点雑音遅延に3Dフィルタを適用し,低周波成分を選択的に低減し,先行競合を緩和することで,クロスビューの整合性を向上させる。
提案手法は最先端の手法を一貫して上回り,様々な場面やスタイルで高いスタイリゼーション品質と視覚的リアリズムを実現する。
論文 参考訳(メタデータ) (2025-08-11T16:11:08Z) - Multi-StyleGS: Stylizing Gaussian Splatting with Multiple Styles [45.648346391757336]
3Dガウススプラッティング(GS)は現実的な3Dシーンモデリングのための有望かつ効率的な手法として登場した。
これらの課題に対処するために,Multi-StyleGSと呼ばれる新しい3D GSスタイリングソリューションを導入する。
論文 参考訳(メタデータ) (2025-06-07T15:54:34Z) - StyleMe3D: Stylization with Disentangled Priors by Multiple Encoders on 3D Gaussians [23.1385740508835]
StyleMe3Dは3D GSスタイルの転送のための総合的なフレームワークである。
マルチモーダルスタイルのコンディショニング、マルチレベルセマンティックアライメント、知覚的品質向上を統合している。
この作品は、フォトリアリスティックな3D GSと芸術的なスタイリング、ゲーム、バーチャルワールド、デジタルアートのアンロックを橋渡しする。
論文 参考訳(メタデータ) (2025-04-21T17:59:55Z) - StylizedGS: Controllable Stylization for 3D Gaussian Splatting [56.87134037463792]
StylizedGSは知覚因子を適応的に制御する効率的な3Dニューラルスタイル転送フレームワークである。
本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
論文 参考訳(メタデータ) (2024-04-08T06:32:11Z) - StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
StyleGaussianは、新しい3Dスタイル転送技術である。
任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
論文 参考訳(メタデータ) (2024-03-12T16:44:52Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳(メタデータ) (2023-03-19T08:26:06Z) - Third Time's the Charm? Image and Video Editing with StyleGAN3 [70.36056009463738]
StyleGANは間違いなく最も興味深くよく研究された生成モデルの一つである。
本稿では、最近のStyleGAN3アーキテクチャについて検討し、それ以前のアーキテクチャと比較し、その独特な利点と欠点について検討する。
論文 参考訳(メタデータ) (2022-01-31T18:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。