論文の概要: DreamArt: Generating Interactable Articulated Objects from a Single Image

• arxiv url: http://arxiv.org/abs/2507.05763v1
• Date: Tue, 08 Jul 2025 08:06:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.743119
• Title: DreamArt: Generating Interactable Articulated Objects from a Single Image
• Title（参考訳）: DreamArt:1枚の画像から相互作用可能な人工物を生成する
• Authors: Ruijie Lu, Yu Liu, Jiaxiang Tang, Junfeng Ni, Yuxiang Wang, Diwen Wan, Gang Zeng, Yixin Chen, Siyuan Huang,
• Abstract要約: 単一視点画像から高忠実で対話可能な音響資産を生成するための新しいフレームワークであるDreamArtを紹介する。 DreamArtは、イメージ・ツー・3D生成、マスクプロンプトされた3Dセグメンテーション、そして部分アモーダル・コンプリーメントを組み合わせることで、部分セグメンテーションと完全な3Dオブジェクトメッシュを再構築する3段階のパイプラインを採用している。 実験により,DreamArtは精度の高い部分形状,外観の忠実度,可塑性調音性を有する高品質な調音オブジェクトを効果的に生成することを示した。
• 参考スコア（独自算出の注目度）: 40.66232231077524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating articulated objects, such as laptops and microwaves, is a crucial yet challenging task with extensive applications in Embodied AI and AR/VR. Current image-to-3D methods primarily focus on surface geometry and texture, neglecting part decomposition and articulation modeling. Meanwhile, neural reconstruction approaches (e.g., NeRF or Gaussian Splatting) rely on dense multi-view or interaction data, limiting their scalability. In this paper, we introduce DreamArt, a novel framework for generating high-fidelity, interactable articulated assets from single-view images. DreamArt employs a three-stage pipeline: firstly, it reconstructs part-segmented and complete 3D object meshes through a combination of image-to-3D generation, mask-prompted 3D segmentation, and part amodal completion. Second, we fine-tune a video diffusion model to capture part-level articulation priors, leveraging movable part masks as prompt and amodal images to mitigate ambiguities caused by occlusion. Finally, DreamArt optimizes the articulation motion, represented by a dual quaternion, and conducts global texture refinement and repainting to ensure coherent, high-quality textures across all parts. Experimental results demonstrate that DreamArt effectively generates high-quality articulated objects, possessing accurate part shape, high appearance fidelity, and plausible articulation, thereby providing a scalable solution for articulated asset generation. Our project page is available at https://dream-art-0.github.io/DreamArt/.
• Abstract（参考訳）: ラップトップやマイクロ波などの音声オブジェクトの生成は、Embodied AIやAR/VRの広範な応用において、極めて難しい課題である。 現在の画像から3Dへの手法は、主に表面形状とテクスチャ、部分分解と調音モデリングを無視することに焦点を当てている。 一方、ニューラルリコンストラクションアプローチ(例えば、NeRFやGaussian Splatting)は、高密度なマルチビューやインタラクションデータに依存し、スケーラビリティを制限している。 本稿では,単一視点画像から高忠実で対話可能な音響資産を生成するための新しいフレームワークであるDreamArtを紹介する。 第一に、イメージから3D生成、マスクプロンプトされた3Dセグメンテーション、そして部分アモーダルコンプリートを組み合わせることで、部分セグメンテーションと完了した3Dオブジェクトメッシュを再構築する。 第2に,映像拡散モデルを用いて,部分レベルの調音前兆を抽出し,可動部マスクをプロンプトおよびアモーダル画像として利用することにより,閉塞による曖昧さを軽減する。 最後に、DreamArtは2つの四元数で表される調音運動を最適化し、グローバルなテクスチャの精細化と塗り替えを行い、すべての部分で一貫性のある高品質なテクスチャを確実にする。 実験により,DreamArtは精度の高い部分形状,外観の忠実度,可視性を有する高品質な調音オブジェクトを効果的に生成し,これにより,調音アセット生成のためのスケーラブルなソリューションを提供することを示した。 私たちのプロジェクトページはhttps://dream-art-0.github.io/DreamArt/で公開されています。

関連論文リスト

• DecompDreamer: Advancing Structured 3D Asset Generation with Multi-Object Decomposition and Gaussian Splatting [24.719972380079405]
  DecompDreamerは高品質な3D合成を生成するために設計されたトレーニングルーチンである。 シーンを構成されたコンポーネントとその関係に分解する。 オブジェクトの絡み合いが優れている複雑な3D組成物を効果的に生成する。
  論文  参考訳（メタデータ） (2025-03-15T03:37:25Z)
• PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models [63.1432721793683]
  テキスト,画像,構造化されていない3Dオブジェクトから意味のある部分からなる3Dオブジェクトを生成する新しいアプローチであるPartGenを紹介する。 提案手法は, 生成された実物および実物の3次元資産に対して評価し, セグメンテーションおよび部分抽出ベースラインを大きなマージンで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-12-24T18:59:43Z)
• MTFusion: Reconstructing Any 3D Object from Single Image Using Multi-word Textual Inversion [10.912989885886617]
  高忠実度3D再構成に画像データとテキスト記述の両方を活用するMTFusionを提案する。 提案手法は,2つの段階から構成される。まず,新しい多語テキスト変換手法を採用し,詳細なテキスト記述を抽出する。 そして、この記述と画像を用いてFlexiCubesで3Dモデルを生成する。
  論文  参考訳（メタデータ） (2024-11-19T03:29:18Z)
• HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image [94.11473240505534]
  一つの画像から3Dコンテンツを作成するためのツールであるHyperDreamerを紹介します。 ユーザーは、結果の3Dコンテンツをフル範囲から閲覧、レンダリング、編集できないため、ポストジェネレーションの使用には十分である。 高分解能なテクスチャとユーザフレンドリーな編集が可能な領域認識素材のモデリングにおけるHyperDreamerの有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-07T18:58:09Z)
• IPDreamer: Appearance-Controllable 3D Object Generation with Complex Image Prompts [90.49024750432139]
  IPDreamerは複雑な$textbfI$mage $textbfP$romptsから複雑な外観特徴をキャプチャし、合成した3Dオブジェクトをこれらの特徴と整合させる。 IPDreamerはテキストと複雑な画像のプロンプトに整合した高品質な3Dオブジェクトを一貫して生成することを示した。
  論文  参考訳（メタデータ） (2023-10-09T03:11:08Z)
• NAP: Neural 3D Articulation Prior [31.875925637190328]
  本研究では,3次元合成対象モデルを合成する最初の3次元深部生成モデルであるNeural 3D Articulation Prior (NAP)を提案する。 そこで我々はまず,新しい調音木/グラフパラメタライゼーションを設計し,この表現に対して拡散減衰確率モデルを適用した。 分布が互いに影響を及ぼすような幾何構造と運動構造の両方を捉えるために,逆拡散過程を学習するためのグラフアテンション認知ネットワークを設計する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。