論文の概要: Consistent123: One Image to Highly Consistent 3D Asset Using Case-Aware Diffusion Priors

• arxiv url: http://arxiv.org/abs/2309.17261v2
• Date: Tue, 20 Feb 2024 14:33:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 20:52:52.794555
• Title: Consistent123: One Image to Highly Consistent 3D Asset Using Case-Aware Diffusion Priors
• Title（参考訳）: consistent123:case-aware diffusion priorsを用いた高一貫性3dアセットの1画像
• Authors: Yukang Lin, Haonan Han, Chaoqun Gong, Zunnan Xu, Yachao Zhang, Xiu Li
• Abstract要約: 本稿では,高整合性3次元アセット再構築のためのケース認識2段階手法であるConsistent123を提案する。 最初の段階では、Consistent123は十分な幾何学的利用のために3D構造上の先行しか利用していない。 第2段階では、2次元テクスチャ先行が導入され、徐々に支配的な指針の役割を担っている。
• 参考スコア（独自算出の注目度）: 23.503175244836854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D objects from a single image guided by pretrained diffusion models has demonstrated promising outcomes. However, due to utilizing the case-agnostic rigid strategy, their generalization ability to arbitrary cases and the 3D consistency of reconstruction are still poor. In this work, we propose Consistent123, a case-aware two-stage method for highly consistent 3D asset reconstruction from one image with both 2D and 3D diffusion priors. In the first stage, Consistent123 utilizes only 3D structural priors for sufficient geometry exploitation, with a CLIP-based case-aware adaptive detection mechanism embedded within this process. In the second stage, 2D texture priors are introduced and progressively take on a dominant guiding role, delicately sculpting the details of the 3D model. Consistent123 aligns more closely with the evolving trends in guidance requirements, adaptively providing adequate 3D geometric initialization and suitable 2D texture refinement for different objects. Consistent123 can obtain highly 3D-consistent reconstruction and exhibits strong generalization ability across various objects. Qualitative and quantitative experiments show that our method significantly outperforms state-of-the-art image-to-3D methods. See https://Consistent123.github.io for a more comprehensive exploration of our generated 3D assets.
• Abstract（参考訳）: 事前訓練した拡散モデルで導かれた単一画像から3Dオブジェクトを再構成すると,有望な結果が得られた。 しかし, ケース非依存の厳密な戦略を活用することにより, 任意のケースへの一般化能力と再構築の3次元整合性はいまだに乏しい。 本研究では,2次元および3次元拡散先行画像から高度に一貫した3次元アセット再構成を行うケース認識型2段階手法であるConsistent123を提案する。 最初の段階では、consist123は十分な幾何学的エクスプロイトのために3d構造のみを使用しており、このプロセスにクリップベースのケースアウェア適応検出機構が組み込まれている。 第2段階では、2Dテクスチャ先行が導入され、3Dモデルの細部を微妙に彫刻し、支配的な指針となる。 Consistent123は、ガイダンス要件の進化傾向とより密接に一致し、適切な3次元幾何学的初期化と異なるオブジェクトに適した2次元テクスチャリファインメントを提供する。 consistent123は高度に3d一貫性のある再構成が可能で、様々なオブジェクトにまたがる強力な一般化能力を示す。 定性的および定量的実験により,本手法は最先端の画像-3D法より有意に優れていた。 生成された3dアセットをより包括的に調査するために、https:// consistent123.github.ioをご覧ください。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• The More You See in 2D, the More You Perceive in 3D [32.578628729549145]
  SAP3Dは、任意の数の未提示画像から3D再構成と新しいビュー合成を行うシステムである。 入力画像の数が増えるにつれて,提案手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:40Z)
• ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
  複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。 提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
  論文  参考訳（メタデータ） (2024-03-19T03:39:43Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization [30.951405623906258]
  単一画像の3D再構成は、我々の自然界に関する広範な知識を必要とする重要な課題であるが、難しい課題である。 本研究では,任意の物体の1つの画像を入力として取り込み,360度3次元テクスチャメッシュを1回のフィードフォワードパスで生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-29T13:28:16Z)
• To The Point: Correspondence-driven monocular 3D category reconstruction [39.811816510186475]
  To The Point (TTP) は、弱い監督から学んだ2Dから3D対応を用いて、単一の画像から3Dオブジェクトを再構成する手法である。 我々は、CNNによるカメラポーズと非剛性変形の回帰を置き換え、より正確な3D再構成を得る。
  論文  参考訳（メタデータ） (2021-06-10T11:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。