論文の概要: TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition

• arxiv url: http://arxiv.org/abs/2210.11277v1
• Date: Thu, 20 Oct 2022 13:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 13:38:10.290914
• Title: TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition
• Title（参考訳）: TANGO: ライティング分解によるテキスト駆動型フォトリアリスティックとロバスト3Dスティリゼーション
• Authors: Yongwei Chen, Rui Chen, Jiabao Lei, Yabin Zhang, Kui Jia
• Abstract要約: 本稿では,テキストのプロンプトに従って,与えられた3次元形状の外観スタイルをフォトリアリスティックな方法で転送するタンゴを提案する。 TANGOは,低品質メッシュのスタイリングにおいて,フォトリアリスティックな品質,3次元幾何の整合性,ロバスト性の観点から,既存のテキスト駆動型3Dスタイル転送法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 39.312567993736025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creation of 3D content by stylization is a promising yet challenging problem in computer vision and graphics research. In this work, we focus on stylizing photorealistic appearance renderings of a given surface mesh of arbitrary topology. Motivated by the recent surge of cross-modal supervision of the Contrastive Language-Image Pre-training (CLIP) model, we propose TANGO, which transfers the appearance style of a given 3D shape according to a text prompt in a photorealistic manner. Technically, we propose to disentangle the appearance style as the spatially varying bidirectional reflectance distribution function, the local geometric variation, and the lighting condition, which are jointly optimized, via supervision of the CLIP loss, by a spherical Gaussians based differentiable renderer. As such, TANGO enables photorealistic 3D style transfer by automatically predicting reflectance effects even for bare, low-quality meshes, without training on a task-specific dataset. Extensive experiments show that TANGO outperforms existing methods of text-driven 3D style transfer in terms of photorealistic quality, consistency of 3D geometry, and robustness when stylizing low-quality meshes. Our codes and results are available at our project webpage https://cyw-3d.github.io/tango/.
• Abstract（参考訳）: スタイリゼーションによる3Dコンテンツの作成は、コンピュータビジョンとグラフィックス研究において有望だが挑戦的な問題である。 本研究では,任意のトポロジの曲面メッシュのフォトリアリスティックな外観レンダリングのスタイリングに焦点をあてる。 コントラスト言語-画像事前学習(CLIP)モデルの近年のクロスモーダル監視の高まりに触発され,本論文では,写真リアリスティックな方法でテキストプロンプトに基づいて,与えられた3次元形状の外観スタイルを伝達するTANGOを提案する。 技術的には、空間的に変化する双方向反射率分布関数、局所幾何学的変動、およびCLIP損失の監督により共同最適化された照明条件として、球面ガウス型微分レダクタを用いて外観スタイルをアンタングルする。 そのためtangoは、タスク固有のデータセットをトレーニングすることなく、裸の低品質メッシュでも反射効果を自動的に予測することで、フォトリアリスティックな3dスタイル転送を可能にする。 広汎な実験により、TANGOは、フォトリアリスティックな品質、3D幾何の整合性、低品質メッシュをスタイリングする際の堅牢性の観点から、既存のテキスト駆動型3Dスタイル転送法よりも優れていることが示された。 私たちのコードと結果は、私たちのプロジェクトwebページhttps://cyw-3d.github.io/tango/で閲覧できます。

関連論文リスト

• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Directional Texture Editing for 3D Models [51.31499400557996]
  ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。 拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
  論文  参考訳（メタデータ） (2023-09-26T12:01:13Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation [45.69270771487455]
  本稿では,高品質なテキスト・ツー・3Dコンテンツ作成のためのFantasia3Dの新たな手法を提案する。 Fantasia3Dの鍵となるのは、幾何学と外観の混乱したモデリングと学習である。 我々のフレームワークは、人気のあるグラフィックスエンジンとより互換性があり、生成した3Dアセットのリライティング、編集、物理シミュレーションをサポートしています。
  論文  参考訳（メタデータ） (2023-03-24T09:30:09Z)
• Texturify: Generating Textures on 3D Shape Surfaces [34.726179801982646]
  本研究では3次元入力のテクスチャを予測する3次元形状を学習するためにTexturifyを提案する。 本手法では,3Dオブジェクトの学習に3Dカラー管理は不要である。
  論文  参考訳（メタデータ） (2022-04-05T18:00:04Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。