論文の概要: DreamComposer++: Empowering Diffusion Models with Multi-View Conditions for 3D Content Generation

• arxiv url: http://arxiv.org/abs/2507.02299v1
• Date: Thu, 03 Jul 2025 04:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.585735
• Title: DreamComposer++: Empowering Diffusion Models with Multi-View Conditions for 3D Content Generation
• Title（参考訳）: DreamComposer++:3Dコンテンツ生成のためのマルチビュー条件付き拡散モデル
• Authors: Yunhan Yang, Shuo Chen, Yukun Huang, Xiaoyang Wu, Yuan-Chen Guo, Edmund Y. Lam, Hengshuang Zhao, Tong He, Xihui Liu,
• Abstract要約: 事前学習した2次元拡散モデルを活用する最近の進歩は、単一の線内画像から高品質な新規ビューを生成する。 しかし、既存の作品では、複数の視点からの情報が不足しているため、制御可能な新しい視点を生み出すことの難しさに直面している。 我々はDreamComposer++について紹介する。DreamComposer++は、マルチビュー条件を組み込むことで、現在のビュー認識拡散モデルを改善するために設計された柔軟でスケーラブルなフレームワークである。
• 参考スコア（独自算出の注目度）: 41.766792225000486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in leveraging pre-trained 2D diffusion models achieve the generation of high-quality novel views from a single in-the-wild image. However, existing works face challenges in producing controllable novel views due to the lack of information from multiple views. In this paper, we present DreamComposer++, a flexible and scalable framework designed to improve current view-aware diffusion models by incorporating multi-view conditions. Specifically, DreamComposer++ utilizes a view-aware 3D lifting module to extract 3D representations of an object from various views. These representations are then aggregated and rendered into the latent features of target view through the multi-view feature fusion module. Finally, the obtained features of target view are integrated into pre-trained image or video diffusion models for novel view synthesis. Experimental results demonstrate that DreamComposer++ seamlessly integrates with cutting-edge view-aware diffusion models and enhances their abilities to generate controllable novel views from multi-view conditions. This advancement facilitates controllable 3D object reconstruction and enables a wide range of applications.
• Abstract（参考訳）: 事前学習した2次元拡散モデルを活用する最近の進歩は、単一の線内画像から高品質な新規ビューを生成する。 しかし、既存の作品では、複数の視点からの情報が不足しているため、制御可能な新しい視点を創出する上での課題に直面している。 本稿では,マルチビュー条件を取り入れた現行のビュー認識拡散モデルの改善を目的とした,フレキシブルでスケーラブルなフレームワークであるDreamComposer++を提案する。 具体的には、DreamComposer++はビュー対応の3Dリフトモジュールを使用して、さまざまなビューからオブジェクトの3D表現を抽出する。 これらの表現は、マルチビュー機能融合モジュールを通じて、ターゲットビューの潜在機能に集約され、レンダリングされる。 最後に、得られたターゲットビューの特徴を、新しいビュー合成のための事前訓練された画像またはビデオ拡散モデルに統合する。 実験の結果,DreamComposer++は最先端のビュー認識拡散モデルとシームレスに統合され,複数ビュー条件から制御可能な新規ビューを生成する能力が向上した。 この進歩は、制御可能な3Dオブジェクトの再構築を容易にし、幅広い応用を可能にする。

関連論文リスト

• Flex3D: Feed-Forward 3D Generation with Flexible Reconstruction Model and Input View Curation [61.040832373015014]
  テキスト, 単一画像, スパース画像から高品質な3Dコンテンツを生成するための新しいフレームワークFlex3Dを提案する。 我々は、微調整された多視点画像拡散モデルとビデオ拡散モデルを用いて、候補視のプールを生成し、ターゲット3Dオブジェクトのリッチな表現を可能にする。 第2段階では、キュレートされたビューは、任意の数の入力を効果的に処理できるトランスフォーマーアーキテクチャ上に構築されたフレキシブルリコンストラクションモデル(FlexRM)に入力されます。
  論文  参考訳（メタデータ） (2024-10-01T17:29:43Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
  我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。 我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。 提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
  論文  参考訳（メタデータ） (2024-01-09T18:59:04Z)
• DreamComposer: Controllable 3D Object Generation via Multi-View Conditions [45.4321454586475]
  最近の作品では、ワン・イン・ザ・ワイルド画像から高品質なノベルビューを生成することができる。 複数の視点からの情報がないため、これらは制御可能な新しい視点を生み出すのに困難に直面する。 我々はDreamComposerについて述べる。DreamComposerはフレキシブルでスケーラブルなフレームワークで、マルチビュー条件を注入することで既存のビュー認識拡散モデルを強化することができる。
  論文  参考訳（メタデータ） (2023-12-06T16:55:53Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。