論文の概要: DreamCube: 3D Panorama Generation via Multi-plane Synchronization

• arxiv url: http://arxiv.org/abs/2506.17206v1
• Date: Fri, 20 Jun 2025 17:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.582795
• Title: DreamCube: 3D Panorama Generation via Multi-plane Synchronization
• Title（参考訳）: DreamCube:マルチプレーン同期による3次元パノラマ生成
• Authors: Yukun Huang, Yanning Zhou, Jianan Wang, Kaiyi Huang, Xihui Liu,
• Abstract要約: 3Dパノラマ合成は、生成した全方位コンテンツの高品質で多様な視覚的外観と幾何学を必要とする、有望だが挑戦的なタスクである。 既存の手法では、事前訓練された2D基礎モデルのリッチ画像の事前利用により、3Dパノラマデータの不足を回避することができる。 本研究では、2次元基礎モデルから演算子に多面同期を適用することにより、その機能を全方位領域にシームレスに拡張できることを実証する。
• 参考スコア（独自算出の注目度）: 17.690754213112108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D panorama synthesis is a promising yet challenging task that demands high-quality and diverse visual appearance and geometry of the generated omnidirectional content. Existing methods leverage rich image priors from pre-trained 2D foundation models to circumvent the scarcity of 3D panoramic data, but the incompatibility between 3D panoramas and 2D single views limits their effectiveness. In this work, we demonstrate that by applying multi-plane synchronization to the operators from 2D foundation models, their capabilities can be seamlessly extended to the omnidirectional domain. Based on this design, we further introduce DreamCube, a multi-plane RGB-D diffusion model for 3D panorama generation, which maximizes the reuse of 2D foundation model priors to achieve diverse appearances and accurate geometry while maintaining multi-view consistency. Extensive experiments demonstrate the effectiveness of our approach in panoramic image generation, panoramic depth estimation, and 3D scene generation.
• Abstract（参考訳）: 3Dパノラマ合成は、生成した全方位コンテンツの高品質で多様な視覚的外観と幾何学を必要とする、有望だが挑戦的なタスクである。 既存の手法では,3次元パノラマデータの不足を回避するために,事前訓練された2次元基礎モデルからのリッチな画像先行情報を活用するが,3次元パノラマと2次元単一ビューとの非互換性は有効性を制限している。 本研究では、2次元基礎モデルから演算子に多面同期を適用することにより、その機能を全方位領域にシームレスに拡張できることを実証する。 この設計に基づいて、3次元パノラマ生成のための多面RGB-D拡散モデルであるDreamCubeについても紹介する。 本手法がパノラマ画像生成,パノラマ深度推定,3次元シーン生成において有効であることを示す。

関連論文リスト

• CDI3D: Cross-guided Dense-view Interpolation for 3D Reconstruction [25.468907201804093]
  大規模再構成モデル (LRM) は, 2次元拡散モデルにより生成された多視点画像を利用して3次元コンテンツを抽出する際の大きな可能性を示している。 しかし、2次元拡散モデルはしばしば、強い多視点一貫性を持つ高密度画像を生成するのに苦労する。 CDI3Dは,高画質で高画質な3D画像生成を実現するためのフィードフォワードフレームワークである。
  論文  参考訳（メタデータ） (2025-03-11T03:08:43Z)
• DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
  本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。 DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:57:02Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models [112.2625368640425]
  High- resolution Image-to-3D model (Hi3D) はビデオ拡散に基づく新しいパラダイムであり、単一の画像を3D対応シーケンシャル画像生成としてマルチビュー画像に再定義する。 Hi3Dは事前に学習した映像拡散モデルを3D対応で強化し、低解像度のテクスチャディテールを持つマルチビュー画像を生成する。
  論文  参考訳（メタデータ） (2024-09-11T17:58:57Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。