論文の概要: LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation

• arxiv url: http://arxiv.org/abs/2403.12019v1
• Date: Mon, 18 Mar 2024 17:54:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 19:01:22.210777
• Title: LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation
• Title（参考訳）: LN3Diff:高速3次元生成のためのスケーラブル潜在ニューラルネットワーク拡散
• Authors: Yushi Lan, Fangzhou Hong, Shuai Yang, Shangchen Zhou, Xuyi Meng, Bo Dai, Xingang Pan, Chen Change Loy,
• Abstract要約: 本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。 提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。 3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
• 参考スコア（独自算出の注目度）: 73.36690511083894
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The field of neural rendering has witnessed significant progress with advancements in generative models and differentiable rendering techniques. Though 2D diffusion has achieved success, a unified 3D diffusion pipeline remains unsettled. This paper introduces a novel framework called LN3Diff to address this gap and enable fast, high-quality, and generic conditional 3D generation. Our approach harnesses a 3D-aware architecture and variational autoencoder (VAE) to encode the input image into a structured, compact, and 3D latent space. The latent is decoded by a transformer-based decoder into a high-capacity 3D neural field. Through training a diffusion model on this 3D-aware latent space, our method achieves state-of-the-art performance on ShapeNet for 3D generation and demonstrates superior performance in monocular 3D reconstruction and conditional 3D generation across various datasets. Moreover, it surpasses existing 3D diffusion methods in terms of inference speed, requiring no per-instance optimization. Our proposed LN3Diff presents a significant advancement in 3D generative modeling and holds promise for various applications in 3D vision and graphics tasks.
• Abstract（参考訳）: ニューラルレンダリングの分野は、生成モデルと微分可能なレンダリング技術の進歩により、大きな進歩をみせた。 2次元拡散は成功したが、統一された3次元拡散パイプラインは依然として未解決のままである。 本稿では,このギャップに対処し,高速で高品質で汎用的な条件付き3D生成を可能にするLN3Diffという新しいフレームワークを提案する。 提案手法では,3次元アーキテクチャと可変オートエンコーダ(VAE)を用いて,入力画像を構造化されたコンパクトな3次元ラテント空間に符号化する。 潜伏剤は、トランスフォーマーベースのデコーダによって、高容量の3Dニューラルフィールドに復号される。 この3D対応潜伏空間上での拡散モデルをトレーニングすることにより,ShapeNetの3D生成における最先端性能を実現し,各データセットにおけるモノラルな3D再構成と条件付き3D生成において優れた性能を示す。 さらに、既存の3次元拡散法を推論速度で上回り、インスタンスごとの最適化を必要としない。 提案するLN3Diffは3次元生成モデリングの大幅な進歩を示し、3次元視覚およびグラフィックスタスクにおける様々な応用を約束する。

関連論文リスト

• GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,シングル/マルチビュー画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer [26.375689838055774]
  Direct3Dは、Wildの入力画像にスケーラブルなネイティブな3D生成モデルである。 提案手法は, 直接3次元変分オートエンコーダ(D3D-VAE)と直接3次元拡散変換器(D3D-DiT)の2成分からなる。
  論文  参考訳（メタデータ） (2024-05-23T17:49:37Z)
• DiffTF++: 3D-aware Diffusion Transformer for Large-Vocabulary 3D Generation [53.20147419879056]
  拡散型フィードフォワードフレームワークを導入し,単一モデルで課題に対処する。 TransFormerを用いた3D対応拡散モデルを構築し,より強力な3D生成,すなわちDiffTF++を提案する。 ShapeNetとOmniObject3Dの実験は、提案したモジュールの有効性を確実に実証している。
  論文  参考訳（メタデータ） (2024-05-13T17:59:51Z)
• Compress3D: a Compressed Latent Space for 3D Generation from a Single Image [27.53099431097921]
  トリプレーンオートエンコーダは3次元モデルをコンパクトな3次元ラテント空間に符号化し、3次元幾何情報とテクスチャ情報の両方を圧縮する。 本稿では,低解像度の潜在表現を用いて高解像度の3D特徴量から特徴を問合せする3D対応のクロスアテンション機構を提案する。 われわれのアプローチでは、1つのA100 GPU上で7秒で高品質な3Dアセットを生成できる。
  論文  参考訳（メタデータ） (2024-03-20T11:51:04Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
  ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。 当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。 本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
  論文  参考訳（メタデータ） (2022-11-30T01:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。