論文の概要: Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures

• arxiv url: http://arxiv.org/abs/2211.07600v1
• Date: Mon, 14 Nov 2022 18:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 19:54:56.837140
• Title: Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures
• Title（参考訳）: 3次元形状とテクスチャの形状誘導のための潜時NeRF
• Authors: Gal Metzer and Elad Richardson and Or Patashnik and Raja Giryes and Daniel Cohen-Or
• Abstract要約: 我々は, スコア蒸留を, 一般に利用可能な, 計算効率の良い遅延拡散モデルに適用する。 潜在拡散モデルは、事前訓練された自己エンコーダのコンパクト潜在空間に全拡散過程を適用する。 これらの結果から, 3次元メッシュに直接, 潜在スコア蒸留を適用できることが示唆された。
• 参考スコア（独自算出の注目度）: 72.44361273600207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-guided image generation has progressed rapidly in recent years, inspiring major breakthroughs in text-guided shape generation. Recently, it has been shown that using score distillation, one can successfully text-guide a NeRF model to generate a 3D object. We adapt the score distillation to the publicly available, and computationally efficient, Latent Diffusion Models, which apply the entire diffusion process in a compact latent space of a pretrained autoencoder. As NeRFs operate in image space, a naive solution for guiding them with latent score distillation would require encoding to the latent space at each guidance step. Instead, we propose to bring the NeRF to the latent space, resulting in a Latent-NeRF. Analyzing our Latent-NeRF, we show that while Text-to-3D models can generate impressive results, they are inherently unconstrained and may lack the ability to guide or enforce a specific 3D structure. To assist and direct the 3D generation, we propose to guide our Latent-NeRF using a Sketch-Shape: an abstract geometry that defines the coarse structure of the desired object. Then, we present means to integrate such a constraint directly into a Latent-NeRF. This unique combination of text and shape guidance allows for increased control over the generation process. We also show that latent score distillation can be successfully applied directly on 3D meshes. This allows for generating high-quality textures on a given geometry. Our experiments validate the power of our different forms of guidance and the efficiency of using latent rendering. Implementation is available at https://github.com/eladrich/latent-nerf
• Abstract（参考訳）: テキスト誘導画像生成は近年急速に進歩し、テキスト誘導形状生成に大きなブレークスルーをもたらした。 近年, スコア蒸留により, 3次元オブジェクトを生成するためにNeRFモデルをテキストガイドすることに成功した。 我々は, 自動エンコーダのコンパクトな潜在空間における拡散過程全体を適用可能な, 計算効率の高い潜在拡散モデルにスコア蒸留を適用した。 NeRFは画像空間で動作するため、潜伏点の蒸留を誘導するには各誘導ステップで潜伏点へのエンコーディングが必要となる。 代わりに、我々はNeRFを潜在空間に持ち込むことを提案し、結果としてLatent-NeRFとなる。 テキスト・トゥ・3Dモデルでは印象的な結果が得られるが、本質的に制約がなく、特定の3D構造をガイドまたは強制する能力がない可能性がある。 3D 生成を支援するために,所望の物体の粗い構造を定義する抽象幾何学である Sketch-Shape を用いて潜伏型NeRF を導出する。 そこで我々は,そのような制約をLatent-NeRFに直接統合する手段を提案する。 このテキストと形状誘導の独特な組み合わせにより、生成プロセスの制御が強化される。 また, 潜在スコア蒸留は, 直接3dメッシュに適用できることを示した。 これにより、所定の幾何学上で高品質なテクスチャを生成することができる。 私たちの実験では、様々な形式のガイダンスのパワーと、潜在レンダリングの効率を検証しています。 実装はhttps://github.com/eladrich/latent-nerfで利用可能

関連論文リスト

• GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,シングル/マルチビュー画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• GO-NeRF: Generating Virtual Objects in Neural Radiance Fields [75.13534508391852]
  GO-NeRFは、既存のNeRF内の高品質で調和した3Dオブジェクト生成にシーンコンテキストを利用することができる。 本手法では,生成した3次元オブジェクトをシームレスにシーンに合成する構成的レンダリング形式を用いる。
  論文  参考訳（メタデータ） (2024-01-11T08:58:13Z)
• TextMesh: Generation of Realistic 3D Meshes From Text Prompts [56.2832907275291]
  リアルな3Dメッシュを生成するための新しい手法を提案する。 この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
  論文  参考訳（メタデータ） (2023-04-24T20:29:41Z)
• DITTO-NeRF: Diffusion-based Iterative Text To Omni-directional 3D Model [15.091263190886337]
  テキストプロンプトや単一画像から高品質な3D NeRFモデルを生成するための新しいパイプラインを提案する。 DitTO-NeRFは、前景から与えられたまたはテキスト生成された2D画像を用いて、制限付きインバウンダリ(IB)角度のための高品質な部分的な3Dオブジェクトを構築する。 我々は,DITTO-NeRFにおける3次元オブジェクト再構成手法を,スケール(低分解能),アングル(IB角),外界(OB),マスク(背景境界)の3次元オブジェクト再構成方式を提案する。
  論文  参考訳（メタデータ） (2023-04-06T02:27:22Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• 3D-CLFusion: Fast Text-to-3D Rendering with Contrastive Latent Diffusion [55.71215821923401]
  我々は、事前訓練された潜伏型NeRF(入力潜伏符号を与えられた3次元オブジェクトを生成するNeRF)によるテキストから3次元生成の課題に取り組む。 本稿では,3D-CLFusion という3D-CLFusion という手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:38:26Z)
• 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models [8.583859530633417]
  自動復号器の潜時空間で動作する3次元形状のニューラル暗黙表現のための拡散モデルを提案する。 これにより、多種多様な高品質な3D表面を生成できます。
  論文  参考訳（メタデータ） (2022-12-01T20:00:00Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。