論文の概要: SyncDreamer: Generating Multiview-consistent Images from a Single-view Image

• arxiv url: http://arxiv.org/abs/2309.03453v2
• Date: Mon, 15 Apr 2024 10:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 23:47:12.285535
• Title: SyncDreamer: Generating Multiview-consistent Images from a Single-view Image
• Title（参考訳）: SyncDreamer: シングルビュー画像から複数ビュー一貫性の画像を生成する
• Authors: Yuan Liu, Cheng Lin, Zijiao Zeng, Xiaoxiao Long, Lingjie Liu, Taku Komura, Wenping Wang,
• Abstract要約: SyncDreamerと呼ばれる新しい拡散モデルが単一ビュー画像から複数ビュー一貫性のある画像を生成する。 実験の結果、SyncDreamerはさまざまなビューに対して高い一貫性を持つ画像を生成することがわかった。
• 参考スコア（独自算出の注目度）: 59.75474518708409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a novel diffusion model called that generates multiview-consistent images from a single-view image. Using pretrained large-scale 2D diffusion models, recent work Zero123 demonstrates the ability to generate plausible novel views from a single-view image of an object. However, maintaining consistency in geometry and colors for the generated images remains a challenge. To address this issue, we propose a synchronized multiview diffusion model that models the joint probability distribution of multiview images, enabling the generation of multiview-consistent images in a single reverse process. SyncDreamer synchronizes the intermediate states of all the generated images at every step of the reverse process through a 3D-aware feature attention mechanism that correlates the corresponding features across different views. Experiments show that SyncDreamer generates images with high consistency across different views, thus making it well-suited for various 3D generation tasks such as novel-view-synthesis, text-to-3D, and image-to-3D.
• Abstract（参考訳）: 本稿では,一視点画像から多視点一貫性画像を生成する新しい拡散モデルを提案する。 事前訓練された大規模2次元拡散モデルを用いて、Zero123は、オブジェクトの単一ビューイメージから可塑性な新規ビューを生成する能力を示す。 しかし、生成した画像の幾何学や色調の整合性を維持することは依然として課題である。 この問題に対処するために,マルチビュー画像の連立確率分布をモデル化し,単一の逆過程におけるマルチビュー一貫性画像の生成を可能にする,同期型マルチビュー拡散モデルを提案する。 SyncDreamerは、リバースプロセスの各ステップで生成されたすべての画像の中間状態を、3D対応の機能アテンションメカニズムを通じて同期し、異なるビューで対応する特徴を関連付ける。 実験により、SyncDreamerは様々な視点で高い一貫性を持つ画像を生成し、ノベル・ビュー・シンセシス、テキスト・トゥ・3D、イメージ・トゥ・3Dといった様々な3D生成タスクに適していることが示された。

関連論文リスト

• VistaDream: Sampling multiview consistent images for single-view scene reconstruction [63.991582576387856]
  VistaDreamは、単一のビューイメージから3Dシーンを再構築するフレームワークである。 近年の拡散モデルでは、単一ビューの入力画像から高品質のノベルビュー画像を生成することができる。
  論文  参考訳（メタデータ） (2024-10-22T10:55:59Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• Bootstrap3D: Improving Multi-view Diffusion Model with Synthetic Data [80.92268916571712]
  重要なボトルネックは、詳細なキャプションを持つ高品質な3Dオブジェクトの不足である。 本稿では,任意の量のマルチビュー画像を自動的に生成する新しいフレームワークBootstrap3Dを提案する。 我々は高画質合成多視点画像100万枚を高密度記述キャプションで生成した。
  論文  参考訳（メタデータ） (2024-05-31T17:59:56Z)
• MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View [0.0]
  本稿では,単一画像から一貫した多視点画像を生成するための一般的なフレームワークを提案する。 提案モデルは,PSNR,SSIM,LPIPSなどの評価指標において,ベースライン法を超える3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-05-06T22:55:53Z)
• DreamComposer: Controllable 3D Object Generation via Multi-View Conditions [45.4321454586475]
  最近の作品では、ワン・イン・ザ・ワイルド画像から高品質なノベルビューを生成することができる。 複数の視点からの情報がないため、これらは制御可能な新しい視点を生み出すのに困難に直面する。 我々はDreamComposerについて述べる。DreamComposerはフレキシブルでスケーラブルなフレームワークで、マルチビュー条件を注入することで既存のビュー認識拡散モデルを強化することができる。
  論文  参考訳（メタデータ） (2023-12-06T16:55:53Z)
• ConsistNet: Enforcing 3D Consistency for Multi-view Images Diffusion [61.37481051263816]
  本稿では,1つの3Dオブジェクトのイメージが与えられた場合,同じオブジェクトの複数の画像を生成できる手法(ConsistNet)を提案する。 凍結したZero123のバックボーン上での3次元の一貫性を効果的に学習し、1つのA100 GPU上で40秒以内でオブジェクトの周囲のビューを生成する。
  論文  参考訳（メタデータ） (2023-10-16T12:29:29Z)
• Consistent123: Improve Consistency for One Image to 3D Object Synthesis [74.1094516222327]
  大規模な画像拡散モデルは、高品質で優れたゼロショット機能を備えた新規なビュー合成を可能にする。 これらのモデルは、ビュー一貫性の保証がなく、3D再構成や画像から3D生成といった下流タスクのパフォーマンスが制限される。 本稿では,新しい視点を同時に合成するConsistent123を提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:38:28Z)
• Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis [48.33860286920389]
  3D認識画像合成は、3D表現を学習することにより、複数のビューからオブジェクトの画像を生成することを目的としている。 既存のアプローチには幾何学的制約がないため、通常はマルチビュー一貫性のある画像を生成することができない。 幾何制約付き高品質な3次元画像合成のためのマルチビュー一貫性ジェネレータネットワーク(MVCGAN)を提案する。
  論文  参考訳（メタデータ） (2022-04-13T11:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。