論文の概要: EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior

• arxiv url: http://arxiv.org/abs/2308.13223v2
• Date: Thu, 21 Mar 2024 06:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 20:19:41.809305
• Title: EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior
• Title（参考訳）: EfficientDreamer:Orthogonal-view Diffusion Priorによる高忠実度・ロバスト3次元創製
• Authors: Zhipeng Hu, Minda Zhao, Chaoyi Zhao, Xinyue Liang, Lincheng Li, Zeng Zhao, Changjie Fan, Xiaowei Zhou, Xin Yu,
• Abstract要約: 直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。 本稿では,与えられたテキストプロンプトに基づいて4つのサブイメージからなる画像を生成する2次元拡散モデルを提案する。 また,生成した3Dコンテンツの詳細をさらに改善する3D合成ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 59.25950280610409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While image diffusion models have made significant progress in text-driven 3D content creation, they often fail to accurately capture the intended meaning of text prompts, especially for view information. This limitation leads to the Janus problem, where multi-faced 3D models are generated under the guidance of such diffusion models. In this paper, we propose a robust high-quality 3D content generation pipeline by exploiting orthogonal-view image guidance. First, we introduce a novel 2D diffusion model that generates an image consisting of four orthogonal-view sub-images based on the given text prompt. Then, the 3D content is created using this diffusion model. Notably, the generated orthogonal-view image provides strong geometric structure priors and thus improves 3D consistency. As a result, it effectively resolves the Janus problem and significantly enhances the quality of 3D content creation. Additionally, we present a 3D synthesis fusion network that can further improve the details of the generated 3D contents. Both quantitative and qualitative evaluations demonstrate that our method surpasses previous text-to-3D techniques. Project page: https://efficientdreamer.github.io.
• Abstract（参考訳）: 画像拡散モデルは、テキスト駆動型3Dコンテンツ作成において顕著な進歩を遂げているが、特にビュー情報において、テキストプロンプトの意図した意味を正確に捉えることに失敗することが多い。 この制限はJanus問題につながり、そのような拡散モデルのガイダンスの下で多面的な3Dモデルを生成する。 本稿では,直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。 まず、与えられたテキストプロンプトに基づいて、4つの直交ビューサブイメージからなる画像を生成する2次元拡散モデルを提案する。 そして、この拡散モデルを用いて3Dコンテンツを作成する。 特に、生成した直交ビュー画像は、強い幾何学的構造を先行して提供し、3次元の整合性を向上させる。 その結果、Janus問題を効果的に解決し、3Dコンテンツ作成の品質を大幅に向上させる。 さらに,生成した3Dコンテンツの詳細をさらに改善できる3D合成融合ネットワークを提案する。 定量的および定性的な評価は,本手法が従来のテキスト・ツー・3D技術を上回ることを示す。 プロジェクトページ: https://efficientdreamer.github.io

関連論文リスト

• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• PI3D: Efficient Text-to-3D Generation with Pseudo-Image Diffusion [18.82883336156591]
  本稿では,テキストプロンプトから高品質な3D形状を数分で生成する,事前学習されたテキスト・画像拡散モデルの能力をフル活用するフレームワークPI3Dを提案する。 PI3Dはテキストからわずか3分で1つの3D形状を生成し、その品質は既存の3D生成モデルよりも大きなマージンで優れていることが検証される。
  論文  参考訳（メタデータ） (2023-12-14T16:04:34Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation [61.48050470095969]
  X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。 テキスト対2D合成とテキスト対3D合成のギャップを埋める。
  論文  参考訳（メタデータ） (2023-11-30T07:23:00Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• TextMesh: Generation of Realistic 3D Meshes From Text Prompts [56.2832907275291]
  リアルな3Dメッシュを生成するための新しい手法を提案する。 この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
  論文  参考訳（メタデータ） (2023-04-24T20:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。