論文の概要: Direct and Explicit 3D Generation from a Single Image

• arxiv url: http://arxiv.org/abs/2411.10947v1
• Date: Sun, 17 Nov 2024 03:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:19.122216
• Title: Direct and Explicit 3D Generation from a Single Image
• Title（参考訳）: 単一画像からの直接的および明示的な3次元生成
• Authors: Haoyu Wu, Meher Gitika Karumuri, Chuhang Zou, Seungbae Bang, Yuelong Li, Dimitris Samaras, Sunil Hadap,
• Abstract要約: マルチビュー2次元深度画像とRGB画像を用いて表面形状とテクスチャを直接生成する新しいフレームワークを提案する。 画素レベルの多視点整合性を実現するために,エピポーラの注意を潜時から画素間デコーダに組み込む。 生成した深度画素を3次元空間にバックプロジェクションすることにより、構造化された3次元表現を生成する。
• 参考スコア（独自算出の注目度）: 25.207277983430608
• License:
• Abstract: Current image-to-3D approaches suffer from high computational costs and lack scalability for high-resolution outputs. In contrast, we introduce a novel framework to directly generate explicit surface geometry and texture using multi-view 2D depth and RGB images along with 3D Gaussian features using a repurposed Stable Diffusion model. We introduce a depth branch into U-Net for efficient and high quality multi-view, cross-domain generation and incorporate epipolar attention into the latent-to-pixel decoder for pixel-level multi-view consistency. By back-projecting the generated depth pixels into 3D space, we create a structured 3D representation that can be either rendered via Gaussian splatting or extracted to high-quality meshes, thereby leveraging additional novel view synthesis loss to further improve our performance. Extensive experiments demonstrate that our method surpasses existing baselines in geometry and texture quality while achieving significantly faster generation time.
• Abstract（参考訳）: 現在の画像から3Dへのアプローチは、高い計算コストと高解像度出力のスケーラビリティに悩まされている。 対照的に,多視点2次元深度画像とRGB画像を用いた表面形状とテクスチャを直接生成する新しいフレームワークと,再構成された安定拡散モデルを用いた3次元ガウス特徴を導入する。 高速かつ高品質なマルチビュー、クロスドメイン生成のためにU-Netに奥行き分岐を導入し、ピクセルレベルのマルチビュー整合性のための潜在画素デコーダにエピポーラの注意を組み込む。 生成した深度画素を3次元空間にバックプロジェクションすることにより、ガウススプラッティングまたは高品質メッシュへの抽出が可能な構造化された3次元表現を生成し、新たなビュー合成損失を活用して性能をさらに向上する。 大規模な実験により,本手法は既存のテクスチャやテクスチャの質をはるかに上回り,生成時間を大幅に短縮することを示した。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image [28.759158325097093]
  Unique3Dは、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための、新しい画像間3Dフレームワークである。 我々のフレームワークは、最先端世代の忠実さと強力な一般化性を備えている。
  論文  参考訳（メタデータ） (2024-05-30T17:59:54Z)
• LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
  大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。 彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。 生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
  論文  参考訳（メタデータ） (2024-05-24T15:09:12Z)
• Compress3D: a Compressed Latent Space for 3D Generation from a Single Image [27.53099431097921]
  トリプレーンオートエンコーダは3次元モデルをコンパクトな3次元ラテント空間に符号化し、3次元幾何情報とテクスチャ情報の両方を圧縮する。 本稿では,低解像度の潜在表現を用いて高解像度の3D特徴量から特徴を問合せする3D対応のクロスアテンション機構を提案する。 われわれのアプローチでは、1つのA100 GPU上で7秒で高品質な3Dアセットを生成できる。
  論文  参考訳（メタデータ） (2024-03-20T11:51:04Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
  既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。 本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。 本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-15T08:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。