論文の概要: StyleTex: Style Image-Guided Texture Generation for 3D Models

• arxiv url: http://arxiv.org/abs/2411.00399v1
• Date: Fri, 01 Nov 2024 06:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:46:26.046086
• Title: StyleTex: Style Image-Guided Texture Generation for 3D Models
• Title（参考訳）: StyleTex: 3次元モデルのためのスタイルガイドテクスチャ生成
• Authors: Zhiyu Xie, Yuqing Zhang, Xiangjun Tang, Yiqian Wu, Dehan Chen, Gongsheng Li, Xaogang Jin,
• Abstract要約: スタイル誘導テクスチャ生成は、参照画像のスタイルと入力メッシュの幾何学の両方に調和したテクスチャを生成することを目的としている。 StyleTexは、3Dモデルのためのスタイリングテクスチャを作成するための革新的な拡散モデルベースのフレームワークである。
• 参考スコア（独自算出の注目度）: 8.764938886974482
• License:
• Abstract: Style-guided texture generation aims to generate a texture that is harmonious with both the style of the reference image and the geometry of the input mesh, given a reference style image and a 3D mesh with its text description. Although diffusion-based 3D texture generation methods, such as distillation sampling, have numerous promising applications in stylized games and films, it requires addressing two challenges: 1) decouple style and content completely from the reference image for 3D models, and 2) align the generated texture with the color tone, style of the reference image, and the given text prompt. To this end, we introduce StyleTex, an innovative diffusion-model-based framework for creating stylized textures for 3D models. Our key insight is to decouple style information from the reference image while disregarding content in diffusion-based distillation sampling. Specifically, given a reference image, we first decompose its style feature from the image CLIP embedding by subtracting the embedding's orthogonal projection in the direction of the content feature, which is represented by a text CLIP embedding. Our novel approach to disentangling the reference image's style and content information allows us to generate distinct style and content features. We then inject the style feature into the cross-attention mechanism to incorporate it into the generation process, while utilizing the content feature as a negative prompt to further dissociate content information. Finally, we incorporate these strategies into StyleTex to obtain stylized textures. The resulting textures generated by StyleTex retain the style of the reference image, while also aligning with the text prompts and intrinsic details of the given 3D mesh. Quantitative and qualitative experiments show that our method outperforms existing baseline methods by a significant margin.
• Abstract（参考訳）: スタイル誘導テクスチャ生成は、基準画像のスタイルと入力メッシュの幾何学の両方に調和したテクスチャを生成することを目的としている。 蒸留サンプリングのような拡散型3Dテクスチャ生成法は、スタイリングされたゲームや映画に多くの有望な応用があるが、2つの課題に対処する必要がある。 1)3次元モデルの参照画像からスタイルと内容を完全に分離し、 2) 生成したテクスチャを色調, 参照画像のスタイル, 与えられたテキストプロンプトと整合させる。 この目的のために,3次元モデルのためのスタイリングテクスチャを作成するための,革新的な拡散モデルベースのフレームワークであるStyleTexを紹介する。 我々のキーとなる洞察は、拡散式蒸留サンプリングにおける内容を無視しながら、スタイル情報を参照画像から切り離すことである。 具体的には、参照画像が与えられた場合、埋め込みの直交投影をコンテンツ特徴の方向に減らし、CLIP埋め込みをテキストCLIP埋め込みで表現することで、そのスタイル特徴をまずCLIP埋め込みから分解する。 参照画像のスタイルとコンテンツ情報を切り離す新しいアプローチにより、異なるスタイルとコンテンツ機能を生成することができる。 次に、コンテンツ情報をさらに解離させる負のプロンプトとして利用しながら、そのスタイル機能をクロスアテンション機構に注入し、生成プロセスに組み込む。 最後に、これらの戦略をStyleTexに組み込んで、スタイル化されたテクスチャを得る。 StyleTexが生成したテクスチャは、参照イメージのスタイルを保持しつつ、与えられた3Dメッシュのテキストプロンプトや本質的な詳細と整合する。 定量的および定性的な実験により,本手法は既存の基準法よりも有意差で優れていることが示された。

関連論文リスト

• StyleBrush: Style Extraction and Transfer from a Single Image [19.652575295703485]
  ビジュアルコンテンツのスティル化は、オリジナルの構造的特徴を保ちながら、ピクセルレベルで特定のスタイルパターンを追加することを目的としている。 本稿では,参照画像からスタイルを正確にキャプチャし,抽出したスタイルを他の入力ビジュアルコンテンツにブラシするStyleBrushを提案する。
  論文  参考訳（メタデータ） (2024-08-18T14:27:20Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• Dream-in-Style: Text-to-3D Generation using Stylized Score Distillation [14.079043195485601]
  本稿では,3次元オブジェクトをスタイルで生成する手法を提案する。 本手法は,入力としてテキストプロンプトとスタイル参照画像を取り,ニューラルラディアンス場を再構成して3次元モデルを合成する。
  論文  参考訳（メタデータ） (2024-06-05T16:27:34Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• DreamStone: Image as Stepping Stone for Text-Guided 3D Shape Generation [105.97545053660619]
  テキスト誘導型3次元形状生成手法DreamStoneを提案する。 画像を使ってテキストと形状のギャップを埋め、ペアのテキストと3Dデータを必要とせずに3Dの形状を生成する。 我々のアプローチは汎用的で柔軟でスケーラブルであり、様々なSVRモデルと容易に統合でき、生成空間を拡大し、生成忠実性を向上させることができる。
  論文  参考訳（メタデータ） (2023-03-24T03:56:23Z)
• Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
  入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。 我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。 これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-03-21T16:21:02Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Learning to Stylize Novel Views [82.24095446809946]
  任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。 本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T23:58:18Z)
• Exemplar-Based 3D Portrait Stylization [23.585334925548064]
  ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。 形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。 本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
  論文  参考訳（メタデータ） (2021-04-29T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。