論文の概要: Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors

• arxiv url: http://arxiv.org/abs/2306.17843v2
• Date: Sun, 23 Jul 2023 21:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 20:38:09.499079
• Title: Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors
• Title（参考訳）: Magic123: 2次元および3次元拡散プリミティブを用いた高品質な3Dオブジェクト生成
• Authors: Guocheng Qian, Jinjie Mai, Abdullah Hamdi, Jian Ren, Aliaksandr Siarohin, Bing Li, Hsin-Ying Lee, Ivan Skorokhodov, Peter Wonka, Sergey Tulyakov, Bernard Ghanem
• Abstract要約: Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
• 参考スコア（独自算出の注目度）: 104.79392615848109
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present Magic123, a two-stage coarse-to-fine approach for high-quality, textured 3D meshes generation from a single unposed image in the wild using both2D and 3D priors. In the first stage, we optimize a neural radiance field to produce a coarse geometry. In the second stage, we adopt a memory-efficient differentiable mesh representation to yield a high-resolution mesh with a visually appealing texture. In both stages, the 3D content is learned through reference view supervision and novel views guided by a combination of 2D and 3D diffusion priors. We introduce a single trade-off parameter between the 2D and 3D priors to control exploration (more imaginative) and exploitation (more precise) of the generated geometry. Additionally, we employ textual inversion and monocular depth regularization to encourage consistent appearances across views and to prevent degenerate solutions, respectively. Magic123 demonstrates a significant improvement over previous image-to-3D techniques, as validated through extensive experiments on synthetic benchmarks and diverse real-world images. Our code, models, and generated 3D assets are available at https://github.com/guochengqian/Magic123.
• Abstract（参考訳）: Magic123は、高品質でテクスチャ化された3Dメッシュを2Dと3Dの両方の先行画像から生成する2段階粗いアプローチである。 第1段階では、神経放射場を最適化して粗い幾何を生成する。 第2段階では、メモリ効率の良い微分可能なメッシュ表現を採用し、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成する。 いずれの段階でも、参照ビューの監督と、2d拡散前処理と3d拡散前処理の組み合わせによる新しいビューによって3dコンテンツが学習される。 生成した幾何の探索(より想像力のある)と利用(より正確な)を制御するために, 2D と 3D の先行の1つのトレードオフパラメータを導入する。 さらに,テキストインバージョンと単眼深度正規化を用いて,ビュー間の一貫した外観を奨励し,解の退化を防止する。 Magic123は、合成ベンチマークと多様な実世界の画像に関する広範な実験を通じて検証され、従来の画像から3Dへの技術よりも大幅に改善されている。 私たちのコード、モデル、生成された3dアセットは、https://github.com/guochengqian/magic123で利用可能です。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding [16.50466940644004]
  入力としてCLIPを埋め込んだ画像のみを取り込む画像から3D生成パイプラインであるIsotropic3Dを提案する。 等方性3Dは、最適化をSDS損失のみを静止させることで、方位角の等方性w.r.t.にすることができる。
  論文  参考訳（メタデータ） (2024-03-15T15:27:58Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Text-to-3D Generation with Bidirectional Diffusion using both 2D and 3D priors [16.93758384693786]
  双方向拡散(Bidirectional Diffusion、BiDiff)は、3次元と2次元の拡散プロセスの両方を組み込んだ統合フレームワークである。 我々のモデルは高品質で多種多様でスケーラブルな3D生成を実現する。
  論文  参考訳（メタデータ） (2023-12-07T10:00:04Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Points-to-3D: Bridging the Gap between Sparse Points and Shape-Controllable Text-to-3D Generation [16.232803881159022]
  本稿では,スパースで自由な3Dポイントとリアルな形状制御可能な3D生成とのギャップを埋めるために,Points-to-3Dのフレキシブルなフレームワークを提案する。 Points-to-3Dの基本的な考え方は、テキストから3D生成を導くために制御可能なスパース3Dポイントを導入することである。
  論文  参考訳（メタデータ） (2023-07-26T02:16:55Z)
• Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior [36.40582157854088]
  本研究では,1枚の画像のみから高忠実度3Dコンテンツを作成する問題について検討する。 我々は、よく訓練された2D拡散モデルからの事前知識を活用し、3D生成のための3D認識監視として機能する。 本手法は,汎用オブジェクトの単一画像から高品質な3D作成を実現するための最初の試みであり,テキスト・ツー・3D作成やテクスチャ編集などの様々な応用を可能にする。
  論文  参考訳（メタデータ） (2023-03-24T17:54:22Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
  本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。 特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。 本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-18T07:44:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。