論文の概要: RGM: Reconstructing High-fidelity 3D Car Assets with Relightable 3D-GS Generative Model from a Single Image
- arxiv url: http://arxiv.org/abs/2410.08181v1
- Date: Thu, 10 Oct 2024 17:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 04:55:58.911580
- Title: RGM: Reconstructing High-fidelity 3D Car Assets with Relightable 3D-GS Generative Model from a Single Image
- Title（参考訳）: RGM:単一画像からの3D-GS生成モデルによる高忠実度3Dカーアセットの再構築
- Authors: Xiaoxue Chen, Jv Zheng, Hao Huang, Haoran Xu, Weihao Gu, Kangliang Chen, He xiang, Huan-ang Gao, Hao Zhao, Guyue Zhou, Yaqin Zhang,
- Abstract要約: 高品質な3Dカーアセットは、ビデオゲーム、自動運転、バーチャルリアリティーなど、さまざまなアプリケーションに欠かせない。
3Dオブジェクトの表現としてNeRFや3D-GSを利用する現在の3D生成法は、固定照明下でランベルティアンオブジェクトを生成する。
単一入力画像から3Dカー資産を自動生成する新しい3Dオブジェクト生成フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 30.049602796278133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generation of high-quality 3D car assets is essential for various applications, including video games, autonomous driving, and virtual reality. Current 3D generation methods utilizing NeRF or 3D-GS as representations for 3D objects, generate a Lambertian object under fixed lighting and lack separated modelings for material and global illumination. As a result, the generated assets are unsuitable for relighting under varying lighting conditions, limiting their applicability in downstream tasks. To address this challenge, we propose a novel relightable 3D object generative framework that automates the creation of 3D car assets, enabling the swift and accurate reconstruction of a vehicle's geometry, texture, and material properties from a single input image. Our approach begins with introducing a large-scale synthetic car dataset comprising over 1,000 high-precision 3D vehicle models. We represent 3D objects using global illumination and relightable 3D Gaussian primitives integrating with BRDF parameters. Building on this representation, we introduce a feed-forward model that takes images as input and outputs both relightable 3D Gaussians and global illumination parameters. Experimental results demonstrate that our method produces photorealistic 3D car assets that can be seamlessly integrated into road scenes with different illuminations, which offers substantial practical benefits for industrial applications.
- Abstract（参考訳）: 高品質な3Dカーアセットの生成は、ビデオゲーム、自動運転、バーチャルリアリティーなど、さまざまなアプリケーションに不可欠である。
3Dオブジェクトの表現としてNeRFや3D-GSを利用した現在の3D生成法では、固定照明下でランベルティアンオブジェクトを生成し、物質と大域照明の分離モデリングを欠いている。
その結果、生成した資産は、様々な照明条件下でのリライトには適せず、下流タスクにおける適用性を制限している。
そこで本研究では, 車両の形状, テクスチャ, 材料特性を単一入力画像から迅速かつ高精度に再現し, 3次元自動車資産の創出を自動化する新しい3Dオブジェクト生成フレームワークを提案する。
我々のアプローチは、1,000以上の高精度な3D車両モデルからなる大規模な合成車データセットの導入から始まります。
BRDFパラメータと統合した3次元ガウスプリミティブと大域照明を用いて3次元オブジェクトを表現する。
この表現に基づいて,映像を入力として取り出すフィードフォワードモデルを導入し,光沢のある3次元ガウスと大域照明パラメータの両方を出力する。
実験により, 本手法は, 異なる照明の路面にシームレスに統合可能な光リアルな3Dカーアセットを製作し, 産業用途に有効であることを示す。
関連論文リスト
- Boosting 3D Object Generation through PBR Materials [32.732511476490316]
物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。
アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。
粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
論文 参考訳（メタデータ） (2024-11-25T04:20:52Z) - Edify 3D: Scalable High-Quality 3D Asset Generation [53.86838858460809]
Edify 3Dは高品質な3Dアセット生成のために設計された高度なソリューションである。
提案手法は,2分間で詳細な形状,清潔な形状のトポロジ,高分解能なテクスチャ,材料で高品質な3Dアセットを生成できる。
論文 参考訳（メタデータ） (2024-11-11T17:07:43Z) - 3DRealCar: An In-the-wild RGB-D Car Dataset with 360-degree Views [24.414577645896415]
3D車は一般的に、自動運転システム、バーチャル/拡張現実、ゲームで使われている。
既存の3Dカーデータセットは、合成または低品質のどちらかであり、高品質の現実世界の3Dカーデータセットに対する大きなギャップを示している。
3DRealCarと呼ばれる,3つの特徴を備えた,最初の大規模3D実車データセットを提案する。
論文 参考訳（メタデータ） (2024-06-07T12:14:27Z) - ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。
提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文 参考訳（メタデータ） (2024-03-19T03:39:43Z) - En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D
Synthetic Data [36.51674664590734]
本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。
従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
論文 参考訳（メタデータ） (2024-01-02T12:06:31Z) - Anything-3D: Towards Single-view Anything Reconstruction in the Wild [61.090129285205805]
本稿では,一連の視覚言語モデルとSegment-Anythingオブジェクトセグメンテーションモデルを組み合わせた方法論的フレームワークであるAnything-3Dを紹介する。
提案手法では、BLIPモデルを用いてテキスト記述を生成し、Segment-Anythingモデルを用いて関心対象を効果的に抽出し、テキスト・画像拡散モデルを用いて物体を神経放射場へ持ち上げる。
論文 参考訳（メタデータ） (2023-04-19T16:39:51Z) - GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。
車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。
生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
論文 参考訳（メタデータ） (2023-04-04T23:41:20Z) - MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices [78.20154723650333]
高品質な3次元地下構造は3次元物体再構成評価に不可欠である。
本稿では,モバイルデバイスを用いた新しいマルチビューRGBDデータセットを提案する。
我々は,ハイエンド3Dスキャナーを使わずに,精密な3次元地下構造が得られる。
論文 参考訳（メタデータ） (2023-03-03T14:02:50Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-09-22T17:16:19Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。