論文の概要: From Part to Whole: 3D Generative World Model with an Adaptive Structural Hierarchy
- arxiv url: http://arxiv.org/abs/2603.21557v1
- Date: Mon, 23 Mar 2026 04:25:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.480566
- Title: From Part to Whole: 3D Generative World Model with an Adaptive Structural Hierarchy
- Title(参考訳): 部分から全体へ:適応的構造階層を持つ3次元生成世界モデル
- Authors: Bi'an Du, Daizong Liu, Pufan Li, Wei Hu,
- Abstract要約: 本稿では,潜在構造スロットを自律的に発見する新しい3次元生成世界モデルを提案する。
軽量な3D再構成器は、統合拡散目的により幾何学と外観に導入される。
実験は、クロスカテゴリ転送とパート数外挿において一貫した利得を示す。
- 参考スコア(独自算出の注目度): 37.32082026876477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-image 3D generation lies at the core of vision-to-graphics models in the real world. However, it remains a fundamental challenge to achieve reliable generalization across diverse semantic categories and highly variable structural complexity under sparse supervision. Existing approaches typically model objects in a monolithic manner or rely on a fixed number of parts, including recent part-aware models such as PartCrafter, which still require a labor-intensive user-specified part count. Such designs easily lead to overfitting, fragmented or missing structural components, and limited compositional generalization when encountering novel object layouts. To this end, this paper rethinks single-image 3D generation as learning an adaptive part-whole hierarchy in the flexible 3D latent space. We present a novel part-to-whole 3D generative world model that autonomously discovers latent structural slots by inferring soft and compositional masks directly from image tokens. Specifically, an adaptive slot-gating mechanism dynamically determines the slot-wise activation probabilities and smoothly consolidates redundant slots within different objects, ensuring that the emergent structure remains compact yet expressive across categories. Each distilled slot is then aligned to a learnable, class-agnostic prototype bank, enabling powerful cross-category shape sharing and denoising through universal geometric prototypes in the real world. Furthermore, a lightweight 3D denoiser is introduced to reconstruct geometry and appearance via unified diffusion objectives. Experiments show consistent gains in cross-category transfer and part-count extrapolation, and ablations confirm complementary benefits of the prototype bank for shape-prior sharing as well as slot-gating for structural adaptation.
- Abstract(参考訳): シングルイメージの3D生成は、現実世界の視覚とグラフィックのモデルの中核にある。
しかし、多種多様な意味圏にまたがる信頼性の高い一般化と、スパース管理下での高度に変化する構造的複雑さを実現することは、依然として根本的な課題である。
既存のアプローチは通常、モノリシックな方法でオブジェクトをモデル化するか、あるいは一定数のパーツに依存します。
このような設計は、オーバーフィット、断片化、または欠落した構造部品、そして新しいオブジェクトレイアウトに遭遇する際の作曲の一般化に容易に繋がる。
そこで本研究では,フレキシブルな3次元潜在空間における適応的な部分全体階層の学習として,単一画像の3D生成を再考する。
本稿では,画像トークンから直接ソフトマスクとコンポジションマスクを推定することにより,潜在構造スロットを自律的に検出する新しい3次元生成世界モデルを提案する。
具体的には、適応スロットゲーティング機構がスロットワイドのアクティベーション確率を動的に決定し、異なるオブジェクト内で冗長スロットを円滑に統合し、創発構造がカテゴリ間でコンパクトで表現力のあることを保証する。
それぞれの蒸留スロットは、学習可能なクラスに依存しないプロトタイプバンクに整列され、現実世界の普遍的な幾何学的プロトタイプを通じて、強力なクロスカテゴリ形状の共有とデノベーションを可能にします。
さらに, 統合拡散目標を用いて形状と外観を再構成するために, 軽量な3Dデノイザを導入する。
実験により, クロスカテゴリ移動とパート数外挿において一貫した利得が得られ, 試作バンクの形状優先共有とスロットゲーティングによる構造適応の相補的メリットが確認された。
関連論文リスト
- ArtLLM: Generating Articulated Assets via 3D LLM [19.814132638278547]
ArtLLMは、完全な3Dメッシュから直接高品質な調音資産を生成するための新しいフレームワークである。
コアとなるのは,大規模な調音データセットに基づいてトレーニングされた,3Dマルチモーダルな大規模言語モデルだ。
実験の結果,ArtLLMは部品配置精度と接合予測の両方で最先端の手法を著しく上回ることがわかった。
論文 参考訳(メタデータ) (2026-03-01T15:07:46Z) - StdGEN++: A Comprehensive System for Semantic-Decomposed 3D Character Generation [57.06461272772509]
StdGEN++は、多種多様な入力から高忠実で意味的に分解された3D文字を生成するための、新しく包括的なシステムである。
最先端の性能を達成し、幾何学的精度と意味的絡み合いにおいて既存の手法を著しく上回っている。
結果として、非破壊的な編集、物理学に準拠したアニメーション、視線追跡など、より進んだ下流の機能をアンロックする。
論文 参考訳(メタデータ) (2026-01-12T15:41:27Z) - Lemon: A Unified and Scalable 3D Multimodal Model for Universal Spatial Understanding [80.66591664266744]
Lemonは3Dポイントクラウドパッチと言語トークンを単一のシーケンスとして処理する統合トランスフォーマーアーキテクチャである。
3次元データの複雑さに対処するため,空間的コンテキストを保存するための構造化パッチやトークン化方式を開発した。
Lemonは、総合的な3D理解と推論タスクにまたがって、最先端のパフォーマンスを確立する。
論文 参考訳(メタデータ) (2025-12-14T20:02:43Z) - ArtGen: Conditional Generative Modeling of Articulated Objects in Arbitrary Part-Level States [9.721009445297716]
ArtGenは、正確な幾何学とコヒーレント・キネマティクスを備えた3Dオブジェクトを生成することができる条件付き拡散ベースのフレームワークである。
具体的には、ArtGenはグローバルキネマティック一貫性を明示的に実施するために、クロスステートなMonte Carloサンプリングを使用している。
合成3D-VAE潜伏剤は局所的言語的注意に先行して強化され、微細な幾何学的関係と大域的部分的関係を効果的に捉える。
論文 参考訳(メタデータ) (2025-12-13T17:00:03Z) - Particulate: Feed-Forward 3D Object Articulation [89.78788418174946]
Particulateは、毎日のオブジェクトの1つの静的3Dメッシュが与えられたフィードフォワードアプローチであり、基盤となる関節構造のすべての属性を直接推論する。
私たちは、公開データセットから多種多様な3Dアセットの集合に基づいて、ネットワークのエンドツーエンドをトレーニングします。
推論中、Particulateはネットワークのフィードフォワード予測を入力メッシュに持ち上げ、完全に調音された3Dモデルを数秒で生成する。
論文 参考訳(メタデータ) (2025-12-12T18:59:51Z) - UniArt: Unified 3D Representation for Generating 3D Articulated Objects with Open-Set Articulation [14.687459506970301]
UniArtは、完全な3Dオブジェクトをエンドツーエンドで単一の画像から合成する拡散ベースのフレームワークである。
本稿では,音節特徴と体積幾何学を空間的に整合させる可逆な接合-ボクセル埋め込みを提案する。
PartNet-Mobilityベンチマークの実験は、UniArtが最先端のメッシュ品質と調音精度を達成することを示した。
論文 参考訳(メタデータ) (2025-11-26T20:09:11Z) - Light-SQ: Structure-aware Shape Abstraction with Superquadrics for Generated Meshes [60.92139345612904]
我々は、新しいスーパークワッドリックベースの最適化フレームワークLight-SQを提案する。
本稿では,構造対応ボリューム分解によるブロック再配置戦略を提案する。
実験によると、Light-SQはスーパークワッドリックで効率よく、高忠実で、編集可能な形状の抽象化を可能にする。
論文 参考訳(メタデータ) (2025-09-29T16:18:32Z) - OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion [31.767548415448957]
我々は,パートアウェアな3Dオブジェクト生成のための新しいフレームワークであるOmniPartを紹介する。
提案手法は,ユーザ定義部分の粒度,高精度なローカライゼーションをサポートし,多様な下流アプリケーションを実現する。
論文 参考訳(メタデータ) (2025-07-08T16:46:15Z) - Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。
ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。
クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
論文 参考訳(メタデータ) (2024-05-27T07:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。