論文の概要: Magic-Boost: Boost 3D Generation with Mutli-View Conditioned Diffusion

• arxiv url: http://arxiv.org/abs/2404.06429v2
• Date: Sat, 21 Dec 2024 09:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:27.077249
• Title: Magic-Boost: Boost 3D Generation with Mutli-View Conditioned Diffusion
• Title（参考訳）: Magic-Boost: Mutli-View Conditioned Diffusionによる3D生成
• Authors: Fan Yang, Jianfeng Zhang, Yichun Shi, Bowen Chen, Chenxu Zhang, Huichao Zhang, Xiaofeng Yang, Xiu Li, Jiashi Feng, Guosheng Lin,
• Abstract要約: 本稿では,高忠実度新鮮映像を合成する多視点拡散モデルを提案する。 次に,得られた粗い結果を精査するための厳密なガイダンスを提供するために,新しい反復更新戦略を導入する。 実験の結果、Magic-Boostは粗いインプットを大幅に強化し、リッチな幾何学的およびテクスチュラルな詳細を持つ高品質な3Dアセットを生成する。
• 参考スコア（独自算出の注目度）: 101.15628083270224
• License:
• Abstract: Benefiting from the rapid development of 2D diffusion models, 3D content generation has witnessed significant progress. One promising solution is to finetune the pre-trained 2D diffusion models to produce multi-view images and then reconstruct them into 3D assets via feed-forward sparse-view reconstruction models. However, limited by the 3D inconsistency in the generated multi-view images and the low reconstruction resolution of the feed-forward reconstruction models, the generated 3d assets are still limited to incorrect geometries and blurry textures. To address this problem, we present a multi-view based refine method, named Magic-Boost, to further refine the generation results. In detail, we first propose a novel multi-view conditioned diffusion model which extracts 3d prior from the synthesized multi-view images to synthesize high-fidelity novel view images and then introduce a novel iterative-update strategy to adopt it to provide precise guidance to refine the coarse generated results through a fast optimization process. Conditioned on the strong 3d priors extracted from the synthesized multi-view images, Magic-Boost is capable of providing precise optimization guidance that well aligns with the coarse generated 3D assets, enriching the local detail in both geometry and texture within a short time ($\sim15$min). Extensive experiments show Magic-Boost greatly enhances the coarse generated inputs, generates high-quality 3D assets with rich geometric and textural details. (Project Page: https://magic-research.github.io/magic-boost/)
• Abstract（参考訳）: 2D拡散モデルの急速な発展により、3Dコンテンツ生成は大きな進歩をみせた。 有望な解決策の1つは、訓練済みの2次元拡散モデルを微調整してマルチビュー画像を生成し、フィードフォワードスパースビュー再構成モデルを介して3次元アセットに再構成することである。 しかし, 生成した多視点画像の3次元不整合やフィードフォワード再構成モデルの低解像度化により, 生成した3次元アセットはいまだ不正確な測地やぼやけたテクスチャに限られている。 この問題に対処するために,Magic-Boostというマルチビューベースの精細化手法を提案する。 本稿では,合成した多視点画像から3d前の3dを抽出して高忠実度な新鮮ビューイメージを合成し,それを採用するための新しい反復的更新戦略を導入し,高速な最適化プロセスにより得られた粗い結果を精密に改善する手法を提案する。 Magic-Boostは、合成したマルチビュー画像から抽出された強い3d事前条件に基づいて、粗い生成した3Dアセットとよく整合する正確な最適化ガイダンスを提供することができ、幾何学とテクスチャの局所的な詳細を短時間で強化できる(\sim15$min)。 大規模な実験により、Magic-Boostは粗い入力を大幅に強化し、リッチな幾何学的およびテクスチュラルな詳細を持つ高品質な3Dアセットを生成する。 (プロジェクトページ:https://magic-research.github.io/magic-boost/)

関連論文リスト

• Pandora3D: A Comprehensive Framework for High-Quality 3D Shape and Texture Generation [58.77520205498394]
  本稿では,多様な入力プロンプトから高品質な3次元形状とテクスチャを生成するための包括的枠組みを提案する。 フレームワークは3次元形状生成とテクスチャ生成で構成されている。 本報告では,フレームワークの改良と拡張に向けたシステムアーキテクチャ,実験結果,今後の方向性について述べる。
  論文  参考訳（メタデータ） (2025-02-20T04:22:30Z)
• Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models [112.2625368640425]
  High- resolution Image-to-3D model (Hi3D) はビデオ拡散に基づく新しいパラダイムであり、単一の画像を3D対応シーケンシャル画像生成としてマルチビュー画像に再定義する。 Hi3Dは事前に学習した映像拡散モデルを3D対応で強化し、低解像度のテクスチャディテールを持つマルチビュー画像を生成する。
  論文  参考訳（メタデータ） (2024-09-11T17:58:57Z)
• Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image [28.759158325097093]
  Unique3Dは、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための、新しい画像間3Dフレームワークである。 我々のフレームワークは、最先端世代の忠実さと強力な一般化性を備えている。
  論文  参考訳（メタデータ） (2024-05-30T17:59:54Z)
• LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
  大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。 彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。 生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
  論文  参考訳（メタデータ） (2024-05-24T15:09:12Z)
• FlexiDreamer: Single Image-to-3D Generation with FlexiCubes [20.871847154995688]
  FlexiDreamerは、マルチビュー生成イメージから高品質なメッシュを直接再構築する新しいフレームワークである。 提案手法では,1つの画像から3次元の下流タスクにおいて,約1分で高忠実度3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-04-01T08:20:18Z)
• Envision3D: One Image to 3D with Anchor Views Interpolation [18.31796952040799]
  本研究では,1枚の画像から高品質な3Dコンテンツを効率よく生成する新しい手法であるEnvision3Dを提案する。 テクスチャと幾何学の観点から高品質な3Dコンテンツを生成することができ、従来の画像から3Dのベースライン法を超越している。
  論文  参考訳（メタデータ） (2024-03-13T18:46:33Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。