論文の概要: Improved 3D Scene Stylization via Text-Guided Generative Image Editing with Region-Based Control

• arxiv url: http://arxiv.org/abs/2509.05285v1
• Date: Thu, 04 Sep 2025 15:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.674744
• Title: Improved 3D Scene Stylization via Text-Guided Generative Image Editing with Region-Based Control
• Title（参考訳）: 領域制御によるテキストガイド生成画像編集による3次元スチル化の改良
• Authors: Haruo Fujiwara, Yusuke Mukuta, Tatsuya Harada,
• Abstract要約: ビューの整合性を保ちながら3次元スタイリゼーションの質を高める技術を導入し、任意の地域制御型スタイル転送を提供する。 本手法は,ソースビューのマルチビュー2D画像を用いて,初期3次元表現を再学習することで,スタイリゼーションを実現する。 本稿では,市販モデルのセグメンテーションマスクを用いて,異なる画像領域にスタイルを適用可能なマルチRegion Importance-Weighted Sliced Wasserstein Distance Lossを提案する。
• 参考スコア（独自算出の注目度）: 47.14550252881733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in text-driven 3D scene editing and stylization, which leverage the powerful capabilities of 2D generative models, have demonstrated promising outcomes. However, challenges remain in ensuring high-quality stylization and view consistency simultaneously. Moreover, applying style consistently to different regions or objects in the scene with semantic correspondence is a challenging task. To address these limitations, we introduce techniques that enhance the quality of 3D stylization while maintaining view consistency and providing optional region-controlled style transfer. Our method achieves stylization by re-training an initial 3D representation using stylized multi-view 2D images of the source views. Therefore, ensuring both style consistency and view consistency of stylized multi-view images is crucial. We achieve this by extending the style-aligned depth-conditioned view generation framework, replacing the fully shared attention mechanism with a single reference-based attention-sharing mechanism, which effectively aligns style across different viewpoints. Additionally, inspired by recent 3D inpainting methods, we utilize a grid of multiple depth maps as a single-image reference to further strengthen view consistency among stylized images. Finally, we propose Multi-Region Importance-Weighted Sliced Wasserstein Distance Loss, allowing styles to be applied to distinct image regions using segmentation masks from off-the-shelf models. We demonstrate that this optional feature enhances the faithfulness of style transfer and enables the mixing of different styles across distinct regions of the scene. Experimental evaluations, both qualitative and quantitative, demonstrate that our pipeline effectively improves the results of text-driven 3D stylization.
• Abstract（参考訳）: 2次元生成モデルの強力な能力を活用したテキスト駆動型3次元シーン編集とスタイリゼーションの最近の進歩は、有望な成果を示している。 しかし、高品質なスタイリゼーションとビューの一貫性を同時に確保することが課題である。 さらに、シーン内の異なる領域やオブジェクトに対して、セマンティックな対応でスタイルを一貫して適用することは、難しい作業である。 これらの制約に対処するため、ビューの一貫性を維持しながら3次元スタイリゼーションの質を高める手法を導入し、オプションで領域制御されたスタイル転送を提供する。 本手法は,ソースビューのマルチビュー2D画像を用いて,初期3次元表現を再学習することで,スタイリゼーションを実現する。 したがって、スタイリングされたマルチビュー画像のスタイル整合性とビュー整合性を確保することが重要である。 これを実現するために、スタイル整合の奥行き条件付きビュー生成フレームワークを拡張し、完全に共有されたアテンション機構を単一の参照ベースのアテンション共有機構に置き換え、異なる視点で効果的にスタイルを整合させる。 さらに,近年の3Dインペイント法に触発されて,複数深度マップのグリッドを単一画像参照として利用し,スタイリングされた画像間の視界の整合性をさらに強化する。 最後に,市販モデルのセグメンテーションマスクを用いて,異なる画像領域にスタイルを適用可能なマルチレジオン重要度スライスワッサースタイン距離損失を提案する。 このオプション機能はスタイル伝達の忠実度を高め、シーンの異なる領域間で異なるスタイルの混合を可能にすることを実証する。 定性的かつ定量的な実験により,本パイプラインはテキスト駆動型3Dスタイリングの結果を効果的に改善することを示した。

関連論文リスト

• SSGaussian: Semantic-Aware and Structure-Preserving 3D Style Transfer [57.723850794113055]
  本研究では,事前学習した2次元拡散モデルから事前知識を統合する新しい3次元移動パイプラインを提案する。 パイプラインは2つの重要なステージで構成されています。 2つ目は、スタイリングされたキービュー間のインスタンスレベルの一貫性を効果的に活用し、それを3D表現に転送する、インスタンスレベルのスタイル転送である。
  論文  参考訳（メタデータ） (2025-09-04T16:40:44Z)
• Multi-StyleGS: Stylizing Gaussian Splatting with Multiple Styles [45.648346391757336]
  3Dガウススプラッティング(GS)は現実的な3Dシーンモデリングのための有望かつ効率的な手法として登場した。 これらの課題に対処するために,Multi-StyleGSと呼ばれる新しい3D GSスタイリングソリューションを導入する。
  論文  参考訳（メタデータ） (2025-06-07T15:54:34Z)
• Styl3R: Instant 3D Stylized Reconstruction for Arbitrary Scenes and Styles [10.472018360278085]
  現在の最先端の3Dスタイリング手法は、通常、あらかじめ訓練された表現に芸術的特徴を移すために、計算的に集中的なテスト時間最適化を伴っている。 提案手法は,スパースシーン画像と任意のスタイル画像を用いて,1秒未満で直接3Dスタイリングを実現する手法である。
  論文  参考訳（メタデータ） (2025-05-27T11:47:15Z)
• Style3D: Attention-guided Multi-view Style Transfer for 3D Object Generation [9.212876623996475]
  Style3Dは、コンテンツ画像とスタイル画像からスタイリングされた3Dオブジェクトを生成するための新しいアプローチである。 複数のビューにまたがる構造的特徴とスタイリスティックな特徴の相互作用を確立することにより,本手法は総合的な3Dスタイリゼーションプロセスを実現する。
  論文  参考訳（メタデータ） (2024-12-04T18:59:38Z)
• Towards Multi-View Consistent Style Transfer with One-Step Diffusion via Vision Conditioning [12.43848969320173]
  提案手法により生成した異なる視点からのスティル化画像は、構造的整合性が良く、歪みも少ない、優れた視覚的品質を実現する。 本手法は,3次元情報のないスタイリング画像における構造情報と多視点整合性を効果的に保存する。
  論文  参考訳（メタデータ） (2024-11-15T12:02:07Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• Learning to Stylize Novel Views [82.24095446809946]
  任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。 本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T23:58:18Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。