論文の概要: Joint2Human: High-quality 3D Human Generation via Compact Spherical Embedding of 3D Joints

• arxiv url: http://arxiv.org/abs/2312.08591v1
• Date: Thu, 14 Dec 2023 01:24:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 00:21:25.382298
• Title: Joint2Human: High-quality 3D Human Generation via Compact Spherical Embedding of 3D Joints
• Title（参考訳）: Joint2Human: 3Dジョイントのコンパクトな球面埋め込みによる高品質な3Dヒューマンジェネレーション
• Authors: Muxin Zhang, Qiao Feng, Zhuo Su, Chao Wen, Zhou Xue, Kun Li
• Abstract要約: Joint2Humanは、2次元拡散モデルを利用して詳細な3次元人間の幾何学を直接生成する新しい手法である。 本手法は,テキスト入力によって誘導される3次元人体を生成することができる。
• 参考スコア（独自算出の注目度）: 9.223481792337205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D human generation is increasingly significant in various applications. However, the direct use of 2D generative methods in 3D generation often results in significant loss of local details, while methods that reconstruct geometry from generated images struggle with global view consistency. In this work, we introduce Joint2Human, a novel method that leverages 2D diffusion models to generate detailed 3D human geometry directly, ensuring both global structure and local details. To achieve this, we employ the Fourier occupancy field (FOF) representation, enabling the direct production of 3D shapes as preliminary results using 2D generative models. With the proposed high-frequency enhancer and the multi-view recarving strategy, our method can seamlessly integrate the details from different views into a uniform global shape.To better utilize the 3D human prior and enhance control over the generated geometry, we introduce a compact spherical embedding of 3D joints. This allows for effective application of pose guidance during the generation process. Additionally, our method is capable of generating 3D humans guided by textual inputs. Our experimental results demonstrate the capability of our method to ensure global structure, local details, high resolution, and low computational cost, simultaneously. More results and code can be found on our project page at http://cic.tju.edu.cn/faculty/likun/projects/Joint2Human.
• Abstract（参考訳）: 3d人間生成は、様々な応用においてますます重要になっている。 しかし、3d生成における2次元生成法の直接使用は、しばしば局所的な詳細を失うが、生成された画像から幾何学を再構成する手法は、グローバルビューの一貫性に苦しむ。 本研究では,2次元拡散モデルを用いて3次元形状を直接生成し,大域構造と局所的詳細の両方を保証する新しい手法である joint2human を紹介する。 これを実現するために,フーリエ占有場(fof)表現を用い,2次元生成モデルを用いて3次元形状の直接生成を可能にする。 提案する高周波エンハンサーと多視点リカービング戦略により,異なる視点からの細部を均一なグローバル形状にシームレスに統合し,3次元人間の前処理をよりよく活用し,生成した形状の制御性を高めるため,3次元関節のコンパクトな球形埋め込みを導入する。 これにより、生成プロセス中にポーズガイダンスを効果的に適用することができる。 また,テキスト入力で誘導された3次元人間を生成できる。 実験により,グローバルな構造,局所的な詳細,高解像度,低計算コストを同時に確保できることを示す。 さらなる結果とコードは、プロジェクトのページ http://cic.tju.edu.cn/faculty/likun/projects/Joint2Human で確認できます。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• StructLDM: Structured Latent Diffusion for 3D Human Generation [45.51684124904457]
  StructLDMは2次元画像から学習した拡散に基づく非条件の人間の生成モデルである。 ポーズ/ビュー/シェイプコントロールや、合成世代、部品認識の衣服編集、3Dバーチャルトライオンなどのハイレベルなタスクなど、さまざまなレベルのコントロール可能な3Dヒューマン生成と編集を可能にする。
  論文  参考訳（メタデータ） (2024-04-01T17:00:18Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• Text-to-3D Generation with Bidirectional Diffusion using both 2D and 3D priors [16.93758384693786]
  双方向拡散(Bidirectional Diffusion、BiDiff)は、3次元と2次元の拡散プロセスの両方を組み込んだ統合フレームワークである。 我々のモデルは高品質で多種多様でスケーラブルな3D生成を実現する。
  論文  参考訳（メタデータ） (2023-12-07T10:00:04Z)
• HoloFusion: Towards Photo-realistic 3D Generative Modeling [77.03830223281787]
  拡散に基づく画像生成装置は、高品質で多様なサンプルを作成できるようになったが、その成功はまだ3D生成に完全に変換されていない。 提案するHoloFusionは,高忠実度,高可塑性,多種多様な3Dサンプルを作成するために,これらのアプローチを最大限に組み合わせた手法である。
  論文  参考訳（メタデータ） (2023-08-28T01:19:33Z)
• Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors [56.192682114114724]
  Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。 我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
  論文  参考訳（メタデータ） (2023-02-02T15:37:46Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。