論文の概要: PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2506.05573v1
• Date: Thu, 05 Jun 2025 20:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.226785
• Title: PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers
• Title（参考訳）: PartCrafter: 構成遅延拡散変換器による構造化3Dメッシュ生成
• Authors: Yuchen Lin, Chenguo Lin, Panwang Pan, Honglei Yan, Yiqiang Feng, Yadong Mu, Katerina Fragkiadaki,
• Abstract要約: 1枚のRGB画像から複数の意味論的および幾何学的に異なる3Dメッシュを共同で合成する最初の構造化3D生成モデルであるPartCrafterを紹介する。 PartCrafterは同時に複数の3Dパーツを識別し、個々のオブジェクトと複雑な複数オブジェクトのシーンの両方をエンドツーエンドで生成する。 実験によると、PartCrafterは分解可能な3Dメッシュの生成において、既存のアプローチよりも優れています。
• 参考スコア（独自算出の注目度）: 29.52313100024294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce PartCrafter, the first structured 3D generative model that jointly synthesizes multiple semantically meaningful and geometrically distinct 3D meshes from a single RGB image. Unlike existing methods that either produce monolithic 3D shapes or follow two-stage pipelines, i.e., first segmenting an image and then reconstructing each segment, PartCrafter adopts a unified, compositional generation architecture that does not rely on pre-segmented inputs. Conditioned on a single image, it simultaneously denoises multiple 3D parts, enabling end-to-end part-aware generation of both individual objects and complex multi-object scenes. PartCrafter builds upon a pretrained 3D mesh diffusion transformer (DiT) trained on whole objects, inheriting the pretrained weights, encoder, and decoder, and introduces two key innovations: (1) A compositional latent space, where each 3D part is represented by a set of disentangled latent tokens; (2) A hierarchical attention mechanism that enables structured information flow both within individual parts and across all parts, ensuring global coherence while preserving part-level detail during generation. To support part-level supervision, we curate a new dataset by mining part-level annotations from large-scale 3D object datasets. Experiments show that PartCrafter outperforms existing approaches in generating decomposable 3D meshes, including parts that are not directly visible in input images, demonstrating the strength of part-aware generative priors for 3D understanding and synthesis. Code and training data will be released.
• Abstract（参考訳）: 1枚のRGB画像から複数の意味論的および幾何学的に異なる3Dメッシュを共同で合成する最初の構造化3D生成モデルであるPartCrafterを紹介する。 モノリシックな3D形状を作り出す既存の方法と異なり、まずイメージのセグメント化と各セグメントの再構築を行うが、PartCrafterは事前に分割された入力に依存しない統一された構成生成アーキテクチャを採用する。 単一のイメージに条件付きで、複数の3Dパーツを同時に識別し、個々のオブジェクトと複雑なマルチオブジェクトシーンの両方をエンドツーエンドで生成する。 PartCrafterは、オブジェクト全体をトレーニングしたトレーニング済みの3Dメッシュ拡散トランスフォーマー(DiT)上に構築され、事前トレーニングされたウェイト、エンコーダ、デコーダを継承し、(1)各3D部分が互いに絡み合った潜在トークンの集合で表現される合成潜在空間、(2)個々の部分と全部分の間で構造化された情報フローを可能にする階層的アテンション機構、および、生成中の部分レベルの詳細を保存しながらグローバルコヒーレンスを確保する。 大規模な3Dオブジェクトデータセットから部分レベルのアノテーションをマイニングすることで,パートレベルの監視を支援する。 実験によると、PartCrafterは、インプットイメージで直接見えない部分を含む、分解可能な3Dメッシュを生成する既存のアプローチよりも優れており、3D理解と合成のためのパートアウェア生成前の強みを示している。 コードとトレーニングデータはリリースされます。

関連論文リスト

• Chirpy3D: Creative Fine-grained 3D Object Fabrication via Part Sampling [128.23917788822948]
  Chirpy3Dは、ゼロショット設定で微細な3Dオブジェクトを生成するための新しいアプローチである。 モデルは、可塑性な3D構造を推測し、きめ細かい細部を捉え、新しい物体に一般化する必要がある。 我々の実験では、Cirpy3Dは、高品質できめ細かな細部を持つ創造的な3Dオブジェクトを生成する既存の手法を超越していることが示されている。
  論文  参考訳（メタデータ） (2025-01-07T21:14:11Z)
• PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models [63.1432721793683]
  テキスト,画像,構造化されていない3Dオブジェクトから意味のある部分からなる3Dオブジェクトを生成する新しいアプローチであるPartGenを紹介する。 提案手法は, 生成された実物および実物の3次元資産に対して評価し, セグメンテーションおよび部分抽出ベースラインを大きなマージンで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-12-24T18:59:43Z)
• 3D Part Segmentation via Geometric Aggregation of 2D Visual Features [57.20161517451834]
  監督された3D部分分割モデルは、固定されたオブジェクトと部品のセットに合わせて調整されており、それらの転送可能性は、オープンセットの現実世界のシナリオに制限される。 近年、視覚言語モデル(VLM)を多視点レンダリングとテキストプロンプトを用いてオブジェクト部品の識別に活用する研究が進められている。 これらの制約に対処するために,視覚概念から抽出した意味論と3次元幾何学をブレンドし,対象部品を効果的に同定するCOPSを提案する。
  論文  参考訳（メタデータ） (2024-12-05T15:27:58Z)
• Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
  Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
  論文  参考訳（メタデータ） (2024-05-27T07:10:21Z)
• CoReNet: Coherent 3D scene reconstruction from a single RGB image [43.74240268086773]
  我々は1つのRBG画像のみを入力として与えられた1つの物体の形状を再構築する深層学習の進歩の上に構築する。 提案する3つの拡張は,(1)局所的な2次元情報を物理的に正しい方法で出力3Dボリュームに伝播するレイトレーシングスキップ接続,(2)翻訳同変モデルの構築を可能にするハイブリッド3Dボリューム表現,(3)全体オブジェクトの形状を捉えるために調整された再構成損失である。 すべての物体がカメラに対して一貫した1つの3次元座標フレームに居住し、3次元空間内では交差しないコヒーレントな再構成を実現する。
  論文  参考訳（メタデータ） (2020-04-27T17:53:07Z)
• Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from a Single RGB Image [102.44347847154867]
  プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。 我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。 ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
  論文  参考訳（メタデータ） (2020-04-02T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。