論文の概要: Instant3D: Fast Text-to-3D with Sparse-View Generation and Large Reconstruction Model

• arxiv url: http://arxiv.org/abs/2311.06214v2
• Date: Thu, 23 Nov 2023 08:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 02:26:09.911195
• Title: Instant3D: Fast Text-to-3D with Sparse-View Generation and Large Reconstruction Model
• Title（参考訳）: Instant3D:スパースビュー生成と大規模再構成モデルによる高速テキストから3D
• Authors: Jiahao Li, Hao Tan, Kai Zhang, Zexiang Xu, Fujun Luan, Yinghao Xu, Yicong Hong, Kalyan Sunkavalli, Greg Shakhnarovich, Sai Bi
• Abstract要約: テキストプロンプトから高品質で多様な3Dアセットをフィードフォワードで生成する新しい手法であるInstant3Dを提案する。 提案手法は,従来の最適化手法よりも2桁早く,20秒以内に高画質の多種多様な3Dアセットを生成できる。
• 参考スコア（独自算出の注目度）: 68.98311213582949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-3D with diffusion models has achieved remarkable progress in recent years. However, existing methods either rely on score distillation-based optimization which suffer from slow inference, low diversity and Janus problems, or are feed-forward methods that generate low-quality results due to the scarcity of 3D training data. In this paper, we propose Instant3D, a novel method that generates high-quality and diverse 3D assets from text prompts in a feed-forward manner. We adopt a two-stage paradigm, which first generates a sparse set of four structured and consistent views from text in one shot with a fine-tuned 2D text-to-image diffusion model, and then directly regresses the NeRF from the generated images with a novel transformer-based sparse-view reconstructor. Through extensive experiments, we demonstrate that our method can generate diverse 3D assets of high visual quality within 20 seconds, which is two orders of magnitude faster than previous optimization-based methods that can take 1 to 10 hours. Our project webpage: https://jiahao.ai/instant3d/.
• Abstract（参考訳）: 拡散モデルを用いたtext-to-3dは近年著しく進歩している。 しかし, 従来の方法では, 低い推算, 低多様性, ジャヌス問題に悩まされる, あるいは3次元トレーニングデータの不足による低品質な結果を生成するフィードフォワード法に依拠している。 本稿では,テキストプロンプトから高品質で多様な3Dアセットをフィードフォワードで生成する新しい手法であるInstant3Dを提案する。 我々はまず,2次元テキスト・画像拡散モデルを用いてテキストから4つの構造的・一貫したビューのスパースセットを1ショットで生成し,その後,新しいトランスフォーマー・ベース・スパース・ビュー・コンストラクタを用いて生成画像から直接NeRFを回帰する2段階のパラダイムを採用する。 広範にわたる実験により,従来の最適化手法よりも2桁高速で1～10時間で高画質の3Dアセットを20秒以内で生成できることが実証された。 私たちのプロジェクトwebページは、https://jiahao.ai/instant3d/です。

関連論文リスト

• 3DTopia: Large Text-to-3D Generation Model with Hybrid Diffusion Priors [85.11117452560882]
  本稿では,2段階のテキスト・ツー・3D生成システムである3DTopiaについて述べる。 3次元データから直接学習される3次元拡散の第1段階のサンプルは、テキスト条件付き3次元潜伏拡散モデルを用いており、高速なプロトタイピングのための粗い3次元サンプルを迅速に生成する。 第2段階は2次元拡散前処理を利用して、粗い3次元モデルのテクスチャを第1段階からさらに洗練し、高品質なテクスチャ生成のための潜時空間と画素空間の最適化からなる。
  論文  参考訳（メタデータ） (2024-03-04T17:26:28Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• Text-to-3D Generation with Bidirectional Diffusion using both 2D and 3D priors [16.93758384693786]
  双方向拡散(Bidirectional Diffusion、BiDiff)は、3次元と2次元の拡散プロセスの両方を組み込んだ統合フレームワークである。 我々のモデルは高品質で多種多様でスケーラブルな3D生成を実現する。
  論文  参考訳（メタデータ） (2023-12-07T10:00:04Z)
• Instant3D: Instant Text-to-3D Generation [101.25562463919795]
  Instant3Dと呼ばれる高速テキストから3D生成のための新しいフレームワークを提案する。 Instant3Dはフィードフォワードネットワークの単一実行で1秒未満で、目に見えないテキストプロンプトのための3Dオブジェクトを作成することができる。
  論文  参考訳（メタデータ） (2023-11-14T18:59:59Z)
• One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View Generation and 3D Diffusion [32.29687304798145]
  One-2-3-45++は、1つの画像を1分で詳細な3Dテクスチャメッシュに変換する革新的な方法である。 提案手法は,2次元拡散モデルに埋め込まれた広範囲な知識を,貴重な3次元データから活用することを目的としている。
  論文  参考訳（メタデータ） (2023-11-14T03:40:25Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization [30.951405623906258]
  単一画像の3D再構成は、我々の自然界に関する広範な知識を必要とする重要な課題であるが、難しい課題である。 本研究では,任意の物体の1つの画像を入力として取り込み,360度3次元テクスチャメッシュを1回のフィードフォワードパスで生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-29T13:28:16Z)
• Magic3D: High-Resolution Text-to-3D Content Creation [78.40092800817311]
  DreamFusionは最近、NeRF(Neural Radiance Fields)を最適化するための事前訓練されたテキスト-画像拡散モデルの有用性を実証した。 本稿では,2段階最適化フレームワークを用いて,これらの制約に対処する。 Magic3Dと呼ばれる我々の手法は、DreamFusionより2倍高速な高品質な3Dメッシュモデルを40分で作成できる。
  論文  参考訳（メタデータ） (2022-11-18T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。