論文の概要: SSGaussian: Semantic-Aware and Structure-Preserving 3D Style Transfer

• arxiv url: http://arxiv.org/abs/2509.04379v1
• Date: Thu, 04 Sep 2025 16:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.226229
• Title: SSGaussian: Semantic-Aware and Structure-Preserving 3D Style Transfer
• Title（参考訳）: SSGaussian:Semantic-Aware and Structure-Preserving 3D Style Transfer
• Authors: Jimin Xu, Bosheng Qin, Tao Jin, Zhou Zhao, Zhenhui Ye, Jun Yu, Fei Wu,
• Abstract要約: 本研究では,事前学習した2次元拡散モデルから事前知識を統合する新しい3次元移動パイプラインを提案する。 パイプラインは2つの重要なステージで構成されています。 2つ目は、スタイリングされたキービュー間のインスタンスレベルの一貫性を効果的に活用し、それを3D表現に転送する、インスタンスレベルのスタイル転送である。
• 参考スコア（独自算出の注目度）: 57.723850794113055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in neural representations, such as Neural Radiance Fields and 3D Gaussian Splatting, have increased interest in applying style transfer to 3D scenes. While existing methods can transfer style patterns onto 3D-consistent neural representations, they struggle to effectively extract and transfer high-level style semantics from the reference style image. Additionally, the stylized results often lack structural clarity and separation, making it difficult to distinguish between different instances or objects within the 3D scene. To address these limitations, we propose a novel 3D style transfer pipeline that effectively integrates prior knowledge from pretrained 2D diffusion models. Our pipeline consists of two key stages: First, we leverage diffusion priors to generate stylized renderings of key viewpoints. Then, we transfer the stylized key views onto the 3D representation. This process incorporates two innovative designs. The first is cross-view style alignment, which inserts cross-view attention into the last upsampling block of the UNet, allowing feature interactions across multiple key views. This ensures that the diffusion model generates stylized key views that maintain both style fidelity and instance-level consistency. The second is instance-level style transfer, which effectively leverages instance-level consistency across stylized key views and transfers it onto the 3D representation. This results in a more structured, visually coherent, and artistically enriched stylization. Extensive qualitative and quantitative experiments demonstrate that our 3D style transfer pipeline significantly outperforms state-of-the-art methods across a wide range of scenes, from forward-facing to challenging 360-degree environments. Visit our project page https://jm-xu.github.io/SSGaussian for immersive visualization.
• Abstract（参考訳）: ニューラル・ラディアンス・フィールドや3Dガウス・スプラッティングといった最近の神経表現の進歩は、3Dシーンへのスタイル・トランスファーへの関心を高めている。 既存の手法では、スタイルパターンを3D一貫性のあるニューラル表現に転送することができるが、参照スタイルイメージからハイレベルなスタイルセマンティクスを効果的に抽出し、転送することは困難である。 さらに、スタイリングされた結果には構造的明瞭さや分離が欠如していることが多く、3Dシーン内の異なるインスタンスやオブジェクトの区別が難しい。 これらの制約に対処するために,事前学習された2次元拡散モデルから事前知識を効果的に統合する新しい3Dスタイルのトランスファーパイプラインを提案する。 パイプラインは2つの重要なステージで構成されています。 次に,スタイル化されたキービューを3D表現に転送する。 このプロセスには2つの革新的な設計が含まれている。 ひとつはクロスビュースタイルのアライメントで、複数のキービューにまたがる機能インタラクションを可能にするUNetの最後のアップサンプリングブロックに、クロスビューの注意を挿入する。 これにより、拡散モデルは、スタイルの忠実さとインスタンスレベルの一貫性の両方を維持する、スタイル化されたキービューを生成する。 2つ目は、スタイリングされたキービュー間のインスタンスレベルの一貫性を効果的に活用し、それを3D表現に転送する、インスタンスレベルのスタイル転送である。 この結果、より構造化され、視覚的に一貫性があり、芸術的に豊かなスタイル化がもたらされる。 大規模な定性的および定量的実験により、我々の3Dスタイルのトランスファーパイプラインは、前方から360度環境まで幅広い場面で最先端の手法を大幅に上回っていることが示された。 没入型視覚化のためのプロジェクトページ https://jm-xu.github.io/SSGaussian をご覧ください。

関連論文リスト

• Style3D: Attention-guided Multi-view Style Transfer for 3D Object Generation [9.212876623996475]
  Style3Dは、コンテンツ画像とスタイル画像からスタイリングされた3Dオブジェクトを生成するための新しいアプローチである。 複数のビューにまたがる構造的特徴とスタイリスティックな特徴の相互作用を確立することにより,本手法は総合的な3Dスタイリゼーションプロセスを実現する。
  論文  参考訳（メタデータ） (2024-12-04T18:59:38Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
  StyleGaussianは、新しい3Dスタイル転送技術である。 任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
  論文  参考訳（メタデータ） (2024-03-12T16:44:52Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer [41.388313754081544]
  言語誘導型任意型ニューラルスタイル転送法(CLIP3Dstyler)を提案する。 従来の2D手法であるCLIPStylerと比較して、3Dシーンをスタイリングし、モデルを再訓練することなく新しいシーンに一般化することができる。 我々は,テキスト誘導型3次元シーン転送におけるモデルの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-05-25T05:30:13Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。