論文の概要: MVLight: Relightable Text-to-3D Generation via Light-conditioned Multi-View Diffusion
- arxiv url: http://arxiv.org/abs/2411.11475v1
- Date: Mon, 18 Nov 2024 11:22:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:32:54.313886
- Title: MVLight: Relightable Text-to-3D Generation via Light-conditioned Multi-View Diffusion
- Title（参考訳）: MVLight:光調和多視点拡散による3次元テキスト生成
- Authors: Dongseok Shim, Yichun Shi, Kejie Li, H. Jin Kim, Peng Wang,
- Abstract要約: 本稿では,光条件を直接生成プロセスに統合する新しい光条件多視点拡散モデルMVLightを提案する。
これにより、複数のカメラビューにまたがる特定の照明環境を忠実に反映した高品質な画像を合成することができる。
- 参考スコア（独自算出の注目度）: 36.4301725022179
- License:
- Abstract: Recent advancements in text-to-3D generation, building on the success of high-performance text-to-image generative models, have made it possible to create imaginative and richly textured 3D objects from textual descriptions. However, a key challenge remains in effectively decoupling light-independent and lighting-dependent components to enhance the quality of generated 3D models and their relighting performance. In this paper, we present MVLight, a novel light-conditioned multi-view diffusion model that explicitly integrates lighting conditions directly into the generation process. This enables the model to synthesize high-quality images that faithfully reflect the specified lighting environment across multiple camera views. By leveraging this capability to Score Distillation Sampling (SDS), we can effectively synthesize 3D models with improved geometric precision and relighting capabilities. We validate the effectiveness of MVLight through extensive experiments and a user study.
- Abstract（参考訳）: 近年のテキスト・ツー・3D生成の進歩は、高パフォーマンスなテキスト・ツー・イメージ生成モデルの成功を基盤として、テキスト記述から想像的でリッチなテクスチャ化された3Dオブジェクトの作成を可能にしている。
しかし、光に依存しないコンポーネントと光に依存しないコンポーネントを効果的に分離し、生成した3Dモデルの品質とライティング性能を高めることが重要な課題である。
本稿では,光条件を直接生成プロセスに統合する新しい光条件多視点拡散モデルMVLightを提案する。
これにより、複数のカメラビューにまたがる特定の照明環境を忠実に反映した高品質な画像を合成することができる。
この機能をSDS(Score Distillation Sampling)に活用することにより,幾何精度と照度を向上した3次元モデルを効果的に合成することができる。
広汎な実験とユーザスタディを通じてMVLightの有効性を検証する。
関連論文リスト
- RGM: Reconstructing High-fidelity 3D Car Assets with Relightable 3D-GS Generative Model from a Single Image [30.049602796278133]
高品質な3Dカーアセットは、ビデオゲーム、自動運転、バーチャルリアリティーなど、さまざまなアプリケーションに欠かせない。
3Dオブジェクトの表現としてNeRFや3D-GSを利用する現在の3D生成法は、固定照明下でランベルティアンオブジェクトを生成する。
単一入力画像から3Dカー資産を自動生成する新しい3Dオブジェクト生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:54:03Z) - ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。
提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
論文 参考訳（メタデータ） (2024-09-03T16:53:19Z) - UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。
提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
論文 参考訳（メタデータ） (2024-01-20T01:55:17Z) - Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。
我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。
提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
論文 参考訳（メタデータ） (2024-01-09T18:59:04Z) - UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation [101.2317840114147]
We present UniDream, a text-to-3D generation framework by integration priors。
提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
論文 参考訳（メタデータ） (2023-12-14T09:07:37Z) - IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。
我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。
組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
論文 参考訳（メタデータ） (2023-08-22T14:39:17Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z) - VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting [37.33485476419914]
VoLux-GANは、説得力のあるリライトで3D認識顔を合成するための生成フレームワークである。
複数の識別器を用いた画像分解過程の監視の重要性を示す。
論文 参考訳（メタデータ） (2022-01-13T10:36:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。