論文の概要: DreamComposer++: Empowering Diffusion Models with Multi-View Conditions for 3D Content Generation

• arxiv url: http://arxiv.org/abs/2507.02299v1
• Date: Thu, 03 Jul 2025 04:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.585735
• Title: DreamComposer++: Empowering Diffusion Models with Multi-View Conditions for 3D Content Generation
• Title（参考訳）: DreamComposer++:3Dコンテンツ生成のためのマルチビュー条件付き拡散モデル
• Authors: Yunhan Yang, Shuo Chen, Yukun Huang, Xiaoyang Wu, Yuan-Chen Guo, Edmund Y. Lam, Hengshuang Zhao, Tong He, Xihui Liu,
• Abstract要約: 事前学習した2次元拡散モデルを活用する最近の進歩は、単一の線内画像から高品質な新規ビューを生成する。 しかし、既存の作品では、複数の視点からの情報が不足しているため、制御可能な新しい視点を生み出すことの難しさに直面している。 我々はDreamComposer++について紹介する。DreamComposer++は、マルチビュー条件を組み込むことで、現在のビュー認識拡散モデルを改善するために設計された柔軟でスケーラブルなフレームワークである。
• 参考スコア（独自算出の注目度）: 41.766792225000486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in leveraging pre-trained 2D diffusion models achieve the generation of high-quality novel views from a single in-the-wild image. However, existing works face challenges in producing controllable novel views due to the lack of information from multiple views. In this paper, we present DreamComposer++, a flexible and scalable framework designed to improve current view-aware diffusion models by incorporating multi-view conditions. Specifically, DreamComposer++ utilizes a view-aware 3D lifting module to extract 3D representations of an object from various views. These representations are then aggregated and rendered into the latent features of target view through the multi-view feature fusion module. Finally, the obtained features of target view are integrated into pre-trained image or video diffusion models for novel view synthesis. Experimental results demonstrate that DreamComposer++ seamlessly integrates with cutting-edge view-aware diffusion models and enhances their abilities to generate controllable novel views from multi-view conditions. This advancement facilitates controllable 3D object reconstruction and enables a wide range of applications.
• Abstract（参考訳）: 事前学習した2次元拡散モデルを活用する最近の進歩は、単一の線内画像から高品質な新規ビューを生成する。 しかし、既存の作品では、複数の視点からの情報が不足しているため、制御可能な新しい視点を創出する上での課題に直面している。 本稿では,マルチビュー条件を取り入れた現行のビュー認識拡散モデルの改善を目的とした,フレキシブルでスケーラブルなフレームワークであるDreamComposer++を提案する。 具体的には、DreamComposer++はビュー対応の3Dリフトモジュールを使用して、さまざまなビューからオブジェクトの3D表現を抽出する。 これらの表現は、マルチビュー機能融合モジュールを通じて、ターゲットビューの潜在機能に集約され、レンダリングされる。 最後に、得られたターゲットビューの特徴を、新しいビュー合成のための事前訓練された画像またはビデオ拡散モデルに統合する。 実験の結果,DreamComposer++は最先端のビュー認識拡散モデルとシームレスに統合され,複数ビュー条件から制御可能な新規ビューを生成する能力が向上した。 この進歩は、制御可能な3Dオブジェクトの再構築を容易にし、幅広い応用を可能にする。

関連論文リスト

• Flex3D: Feed-Forward 3D Generation with Flexible Reconstruction Model and Input View Curation [61.040832373015014]
  テキスト, 単一画像, スパース画像から高品質な3Dコンテンツを生成するための新しいフレームワークFlex3Dを提案する。 我々は、微調整された多視点画像拡散モデルとビデオ拡散モデルを用いて、候補視のプールを生成し、ターゲット3Dオブジェクトのリッチな表現を可能にする。 第2段階では、キュレートされたビューは、任意の数の入力を効果的に処理できるトランスフォーマーアーキテクチャ上に構築されたフレキシブルリコンストラクションモデル(FlexRM)に入力されます。
  論文  参考訳（メタデータ） (2024-10-01T17:29:43Z)
• DreamComposer: Controllable 3D Object Generation via Multi-View Conditions [45.4321454586475]
  最近の作品では、ワン・イン・ザ・ワイルド画像から高品質なノベルビューを生成することができる。 複数の視点からの情報がないため、これらは制御可能な新しい視点を生み出すのに困難に直面する。 我々はDreamComposerについて述べる。DreamComposerはフレキシブルでスケーラブルなフレームワークで、マルチビュー条件を注入することで既存のビュー認識拡散モデルを強化することができる。
  論文  参考訳（メタデータ） (2023-12-06T16:55:53Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。