論文の概要: Dream-in-Style: Text-to-3D Generation using Stylized Score Distillation

• arxiv url: http://arxiv.org/abs/2406.18581v1
• Date: Wed, 5 Jun 2024 16:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 05:50:36.631039
• Title: Dream-in-Style: Text-to-3D Generation using Stylized Score Distillation
• Title（参考訳）: スティル化スコア蒸留によるDream-in-Style:テキスト・ツー・3D生成
• Authors: Hubert Kompanowski, Binh-Son Hua,
• Abstract要約: 本稿では,3次元オブジェクトをスタイルで生成する手法を提案する。 本手法は,入力としてテキストプロンプトとスタイル参照画像を取り,ニューラルラディアンス場を再構成して3次元モデルを合成する。
• 参考スコア（独自算出の注目度）: 14.079043195485601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method to generate 3D objects in styles. Our method takes a text prompt and a style reference image as input and reconstructs a neural radiance field to synthesize a 3D model with the content aligning with the text prompt and the style following the reference image. To simultaneously generate the 3D object and perform style transfer in one go, we propose a stylized score distillation loss to guide a text-to-3D optimization process to output visually plausible geometry and appearance. Our stylized score distillation is based on a combination of an original pretrained text-to-image model and its modified sibling with the key and value features of self-attention layers manipulated to inject styles from the reference image. Comparisons with state-of-the-art methods demonstrated the strong visual performance of our method, further supported by the quantitative results from our user study.
• Abstract（参考訳）: 本稿では,3次元オブジェクトをスタイルで生成する手法を提案する。 提案手法では,テキストプロンプトとスタイル参照イメージを入力として取り込んでニューラルラディアンスフィールドを再構成し,テキストプロンプトと参照画像に続くスタイルに整合した3Dモデルを合成する。 3Dオブジェクトを同時に生成し,一行でスタイル転送を行うために,テキストから3Dまでの最適化プロセスを導出し,視覚的に可視な形状と外観を出力するスタイリングされたスコア蒸留損失を提案する。 本発明のスタイライズされたスコア蒸留は,従来の事前訓練されたテキスト・ツー・イメージモデルと,参照画像からスタイルを注入するために操作された自己保持層のキーと値の特徴を組み合わさったものである。 最新の手法との比較により,本手法の強い視覚的性能が示され,ユーザ研究の定量的結果によってさらに裏付けられた。

関連論文リスト

• StyleTex: Style Image-Guided Texture Generation for 3D Models [8.764938886974482]
  スタイル誘導テクスチャ生成は、参照画像のスタイルと入力メッシュの幾何学の両方に調和したテクスチャを生成することを目的としている。 StyleTexは、3Dモデルのためのスタイリングテクスチャを作成するための革新的な拡散モデルベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-11-01T06:57:04Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• ATT3D: Amortized Text-to-3D Object Synthesis [78.96673650638365]
  我々は、個別にではなく、統一されたモデルと同時に多くのプロンプトをトレーニングすることで、テキストプロンプトに対する最適化を保留する。 我々のフレームワークであるAmortized text-to-3D (ATT3D)は、プロンプト間の知識共有を可能にし、未知のセットアップに一般化し、新しいアセットのためのテキストと単純なアニメーション間のスムーズなスムーズさを実現する。
  論文  参考訳（メタデータ） (2023-06-06T17:59:10Z)
• Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
  入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。 我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。 これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-03-21T16:21:02Z)
• Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models [44.34479731617561]
  我々はCLIP誘導3次元最適化プロセスに明示的な3次元形状前処理を導入する。 テキストと画像のモダリティを直接、強力なテキストと画像の拡散モデルでブリッジする、シンプルで効果的なアプローチを提案する。 提案手法であるDream3Dは,視覚的品質と形状の精度に優れた想像的3Dコンテンツを生成することができる。
  論文  参考訳（メタデータ） (2022-12-28T18:23:47Z)
• Learning to Stylize Novel Views [82.24095446809946]
  任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。 本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T23:58:18Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。