論文の概要: Vista3D: Unravel the 3D Darkside of a Single Image

• arxiv url: http://arxiv.org/abs/2409.12193v1
• Date: Wed, 18 Sep 2024 17:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 16:21:44.859340
• Title: Vista3D: Unravel the 3D Darkside of a Single Image
• Title（参考訳）: Vista3D:1枚の画像から3Dのダークサイドを解き明かす
• Authors: Qiuhong Shen, Xingyi Yang, Michael Bi Mi, Xinchao Wang,
• Abstract要約: Vista3Dは、わずか5分で素早く一貫した3D生成を実現するフレームワークである。 粗い位相では、1つの画像からガウススプラッティングで初期幾何学を高速に生成する。 2つの独立な暗黙関数を持つ非絡み合った表現を使用することで、生成の質を高める。
• 参考スコア（独自算出の注目度）: 64.00066024235088
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We embark on the age-old quest: unveiling the hidden dimensions of objects from mere glimpses of their visible parts. To address this, we present Vista3D, a framework that realizes swift and consistent 3D generation within a mere 5 minutes. At the heart of Vista3D lies a two-phase approach: the coarse phase and the fine phase. In the coarse phase, we rapidly generate initial geometry with Gaussian Splatting from a single image. In the fine phase, we extract a Signed Distance Function (SDF) directly from learned Gaussian Splatting, optimizing it with a differentiable isosurface representation. Furthermore, it elevates the quality of generation by using a disentangled representation with two independent implicit functions to capture both visible and obscured aspects of objects. Additionally, it harmonizes gradients from 2D diffusion prior with 3D-aware diffusion priors by angular diffusion prior composition. Through extensive evaluation, we demonstrate that Vista3D effectively sustains a balance between the consistency and diversity of the generated 3D objects. Demos and code will be available at https://github.com/florinshen/Vista3D.
• Abstract（参考訳）: 私たちは古き良き探求に乗り出し、目に見える部分のただの視界から、物体の隠れた次元を明らかにする。 この問題に対処するため、わずか5分で高速で一貫した3D生成を実現するVista3Dを提案する。 Vista3Dの中心には、粗い相と細かい相という2相のアプローチがある。 粗い位相では、1つの画像からガウススプラッティングで初期幾何学を高速に生成する。 微細相では、学習したガウススプラッティングから直接符号付き距離関数(SDF)を抽出し、異面表現で最適化する。 さらに、2つの独立な暗黙関数を持つ非交叉表現を用いて、オブジェクトの可視的側面と隠蔽的側面の両方をキャプチャすることで、生成の質を高める。 さらに、3次元拡散前の2次元拡散からの勾配を角拡散前の組成によって調和させる。 広範囲な評価により,Vista3Dは生成した3Dオブジェクトの一貫性と多様性のバランスを効果的に維持できることを示した。 デモとコードはhttps://github.com/florinshen/Vista3D.comで公開される。

関連論文リスト

• Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding [16.50466940644004]
  入力としてCLIPを埋め込んだ画像のみを取り込む画像から3D生成パイプラインであるIsotropic3Dを提案する。 等方性3Dは、最適化をSDS損失のみを静止させることで、方位角の等方性w.r.t.にすることができる。
  論文  参考訳（メタデータ） (2024-03-15T15:27:58Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
  2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。 3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。 本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
  論文  参考訳（メタデータ） (2023-10-12T17:22:24Z)
• SweetDreamer: Aligning Geometric Priors in 2D Diffusion for Consistent Text-to-3D [40.088688751115214]
  事前学習した拡散モデルからテキストから3D生成のための3次元世界へ2D結果を持ち上げることは本質的に不明瞭である。 昇降時の3次元形状をよく定義した拡散モデルにおける2次元幾何学的先行を整列させて整合性を向上させる。 提案手法は,人間の評価によって85%以上の一貫性を有する新しい最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-04T05:59:50Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)
• 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
  既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。 室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
  論文  参考訳（メタデータ） (2022-02-17T09:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。