論文の概要: GraphicsDreamer: Image to 3D Generation with Physical Consistency

• arxiv url: http://arxiv.org/abs/2412.14214v1
• Date: Wed, 18 Dec 2024 10:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:41.359469
• Title: GraphicsDreamer: Image to 3D Generation with Physical Consistency
• Title（参考訳）: GraphicsDreamer: 物理的に整合した画像から3D生成
• Authors: Pei Chen, Fudong Wang, Yixuan Tong, Jingdong Chen, Ming Yang, Minghui Yang,
• Abstract要約: 単一画像から高機能な3Dメッシュを作成する方法であるGraphicsDreamerを紹介する。 幾何融合の段階では、生成した3Dオブジェクトが信頼性の高いテクスチャの詳細を持つことを保証するため、PBRの制約を継続する。 提案手法はトポロジ最適化と高速なUVアンラッピング機能を備えており,3D画像をグラフィクスエンジンにシームレスにインポートすることができる。
• 参考スコア（独自算出の注目度）: 32.26851174969898
• License:
• Abstract: Recently, the surge of efficient and automated 3D AI-generated content (AIGC) methods has increasingly illuminated the path of transforming human imagination into complex 3D structures. However, the automated generation of 3D content is still significantly lags in industrial application. This gap exists because 3D modeling demands high-quality assets with sharp geometry, exquisite topology, and physically based rendering (PBR), among other criteria. To narrow the disparity between generated results and artists' expectations, we introduce GraphicsDreamer, a method for creating highly usable 3D meshes from single images. To better capture the geometry and material details, we integrate the PBR lighting equation into our cross-domain diffusion model, concurrently predicting multi-view color, normal, depth images, and PBR materials. In the geometry fusion stage, we continue to enforce the PBR constraints, ensuring that the generated 3D objects possess reliable texture details, supporting realistic relighting. Furthermore, our method incorporates topology optimization and fast UV unwrapping capabilities, allowing the 3D products to be seamlessly imported into graphics engines. Extensive experiments demonstrate that our model can produce high quality 3D assets in a reasonable time cost compared to previous methods.
• Abstract（参考訳）: 近年,AIGC(AIGC)手法の進歩により,人間の想像力を複雑な3D構造に転換する道のりが明らかになってきた。 しかし、3Dコンテンツの自動生成は、産業応用において依然として著しく遅れている。 このギャップは、3Dモデリングがシャープな幾何学、精巧なトポロジー、物理ベースレンダリング(PBR)などの基準で高品質な資産を必要とするため存在する。 生成した結果とアーティストの期待値の差を狭めるために,単一画像から高機能な3Dメッシュを作成するGraphicsDreamerを紹介した。 形状や材料の詳細をより正確に把握するために、PBR照明方程式をドメイン間拡散モデルに統合し、多視点色、通常、深度画像、PBR材料を同時に予測する。 幾何融合段階において、我々はPBRの制約を継続し、生成した3Dオブジェクトが信頼性の高いテクスチャの詳細を持ち、現実的なリライティングをサポートすることを保証する。 さらに, トポロジ最適化と高速UVアンラッピング機能を導入し, 3D 製品をグラフィクスエンジンにシームレスにインポートする。 大規模な実験により,我々のモデルは,従来の手法と比較して合理的な時間的コストで高品質な3Dアセットを作成できることを示した。

関連論文リスト

• Boosting 3D Object Generation through PBR Materials [32.732511476490316]
  物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。 アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。 粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
  論文  参考訳（メタデータ） (2024-11-25T04:20:52Z)
• Edify 3D: Scalable High-Quality 3D Asset Generation [53.86838858460809]
  Edify 3Dは高品質な3Dアセット生成のために設計された高度なソリューションである。 提案手法は,2分間で詳細な形状,清潔な形状のトポロジ,高分解能なテクスチャ,材料で高品質な3Dアセットを生成できる。
  論文  参考訳（メタデータ） (2024-11-11T17:07:43Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• 3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion [86.25111098482537]
  3DTopia-XLは,既存の手法の限界を克服するために設計された,スケーラブルなネイティブな3D生成モデルである。 3DTopia-XLは、新しいプリミティブベースの3D表現であるPrimXを利用して、詳細な形状、アルベド、マテリアルフィールドをコンパクトなテンソル形式にエンコードする。 その上で, 1) 原始的パッチ圧縮, 2) および潜在的原始的拡散を含む拡散変換器(DiT)に基づく生成フレームワークを提案する。 我々は,3DTopia-XLが既存の手法よりも高い性能を示すことを示すために,広範囲な定性的,定量的な実験を行った。
  論文  参考訳（メタデータ） (2024-09-19T17:59:06Z)
• Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image [28.759158325097093]
  Unique3Dは、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための、新しい画像間3Dフレームワークである。 我々のフレームワークは、最先端世代の忠実さと強力な一般化性を備えている。
  論文  参考訳（メタデータ） (2024-05-30T17:59:54Z)
• Compress3D: a Compressed Latent Space for 3D Generation from a Single Image [27.53099431097921]
  トリプレーンオートエンコーダは3次元モデルをコンパクトな3次元ラテント空間に符号化し、3次元幾何情報とテクスチャ情報の両方を圧縮する。 本稿では,低解像度の潜在表現を用いて高解像度の3D特徴量から特徴を問合せする3D対応のクロスアテンション機構を提案する。 われわれのアプローチでは、1つのA100 GPU上で7秒で高品質な3Dアセットを生成できる。
  論文  参考訳（メタデータ） (2024-03-20T11:51:04Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。