論文の概要: IPDreamer: Appearance-Controllable 3D Object Generation with Image
Prompts
- arxiv url: http://arxiv.org/abs/2310.05375v3
- Date: Wed, 13 Mar 2024 02:56:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 18:27:56.766975
- Title: IPDreamer: Appearance-Controllable 3D Object Generation with Image
Prompts
- Title(参考訳): IPDreamer:画像付き3Dオブジェクト生成
演目
- Authors: Bohan Zeng, Shanglin Li, Yutang Feng, Hong Li, Sicheng Gao, Jiaming
Liu, Huaxia Li, Xu Tang, Jianzhuang Liu, Baochang Zhang
- Abstract要約: 本稿では,3次元オブジェクト生成のための具体的かつ包括的な外観情報を含む新しいアプローチであるIDDreamerを紹介する。
以上の結果から,IDDreamerは提供されたテキストと複雑な画像プロンプトの出現の両方に整合した高品質な3Dオブジェクトを効果的に生成できることが示唆された。
- 参考スコア(独自算出の注目度): 49.77322763142142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in 3D generation have been remarkable, with methods such as
DreamFusion leveraging large-scale text-to-image diffusion-based models to
supervise 3D generation. These methods enable the synthesis of detailed and
photorealistic textured objects. However, the appearance of 3D objects produced
by these text-to-3D methods is unpredictable, and it is hard for the
single-image-to-3D methods to deal with complex images, thus posing a challenge
in generating appearance-controllable 3D objects. To achieve controllable
complex 3D object synthesis, we introduce IPDreamer, a novel approach that
incorporates $\textbf{I}$mage $\textbf{P}$rompts to provide specific and
comprehensive appearance information for 3D object generation. Our results
demonstrate that IPDreamer effectively generates high-quality 3D objects that
are consistent with both the provided text and the appearance of complex image
prompts, demonstrating its promising capability in appearance-controllable 3D
object generation. Our code is avaliable at
https://github.com/zengbohan0217/IPDreamer.
- Abstract(参考訳): 近年の3D生成の進歩は目覚ましいもので、DreamFusionは大規模なテキスト・画像拡散モデルを利用して3D生成を監督している。
これらの方法は、細部および光現実的なテクスチャオブジェクトの合成を可能にする。
しかし,これらテキスト・ツー・3D手法による3Dオブジェクトの出現は予測不可能であり,複雑な画像を扱う単一イメージ・ツー・3D手法では困難であり,外観制御可能な3Dオブジェクトの生成に課題が生じる。
制御可能な複雑な3Dオブジェクト合成を実現するために,$\textbf{I}$mage $\textbf{P}$romptsを組み込んだ新しいアプローチであるIDDreamerを導入する。
以上の結果から,IDDreamerは提供されたテキストと複雑な画像プロンプトの両方に整合した高品質な3Dオブジェクトを効果的に生成し,外観制御可能な3Dオブジェクト生成に期待できる能力を示した。
私たちのコードはhttps://github.com/zengbohan0217/IPDreamer.comで有効です。
関連論文リスト
- 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳(メタデータ) (2024-03-14T14:31:22Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [13.551691697814908]
実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。
我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
論文 参考訳(メタデータ) (2024-03-04T07:57:05Z) - Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D
Prior [52.44678180286886]
2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。
提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
論文 参考訳(メタデータ) (2023-12-11T18:59:18Z) - 3D-TOGO: Towards Text-Guided Cross-Category 3D Object Generation [107.46972849241168]
3D-TOGOモデルは、良好なテクスチャを持つニューラルレージアンスフィールドの形で3Dオブジェクトを生成する。
最大3Dオブジェクトデータセット(ABO)の実験を行い、3D-TOGOが高品質な3Dオブジェクトをより良く生成できることを検証する。
論文 参考訳(メタデータ) (2022-12-02T11:31:49Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-02T17:10:53Z) - Cycle-Consistent Generative Rendering for 2D-3D Modality Translation [21.962725416347855]
我々は、3Dオブジェクトのリアルなレンダリングを生成し、画像からリアルな3D形状を推測するモジュールを学習する。
生成ドメイン翻訳の手法を利用することで、弱い監視しか必要としない学習アルゴリズムを不適切なデータで定義することができる。
得られたモデルは、2D画像から3D形状、ポーズ、テクスチャ推論を行うことができるが、新しいテクスチャ化された3D形状やレンダリングを生成することもできる。
論文 参考訳(メタデータ) (2020-11-16T15:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。