論文の概要: Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials
- arxiv url: http://arxiv.org/abs/2404.16829v3
- Date: Thu, 23 May 2024 19:12:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 20:27:27.286656
- Title: Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials
- Title（参考訳）: Make-it-Real:リアル素材で3Dオブジェクトを描くための大規模マルチモーダルモデル
- Authors: Ye Fang, Zeyi Sun, Tong Wu, Jiaqi Wang, Ziwei Liu, Gordon Wetzstein, Dahua Lin,
- Abstract要約: GPT-4Vは、材料を効果的に認識し、記述することができ、詳細な材料ライブラリを構築することができる。
そして、整合した材料を、新たなSVBRDF材料生成の基準として慎重に適用する。
Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
- 参考スコア（独自算出の注目度）: 108.59709545364395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physically realistic materials are pivotal in augmenting the realism of 3D assets across various applications and lighting conditions. However, existing 3D assets and generative models often lack authentic material properties. Manual assignment of materials using graphic software is a tedious and time-consuming task. In this paper, we exploit advancements in Multimodal Large Language Models (MLLMs), particularly GPT-4V, to present a novel approach, Make-it-Real: 1) We demonstrate that GPT-4V can effectively recognize and describe materials, allowing the construction of a detailed material library. 2) Utilizing a combination of visual cues and hierarchical text prompts, GPT-4V precisely identifies and aligns materials with the corresponding components of 3D objects. 3) The correctly matched materials are then meticulously applied as reference for the new SVBRDF material generation according to the original albedo map, significantly enhancing their visual authenticity. Make-it-Real offers a streamlined integration into the 3D content creation workflow, showcasing its utility as an essential tool for developers of 3D assets.
- Abstract（参考訳）: 物理的に現実的な材料は、様々な用途や照明条件にまたがる3Dアセットの現実性を高める上で重要である。
しかし、既存の3Dアセットや生成モデルは、しばしば真の材料特性を欠いている。
グラフィックソフトウェアを用いた教材のマニュアル割り当ては面倒で時間を要する作業である。
本稿では,MLLM(Make-it-Real:Make-it-Real:)の進歩,特にGPT-4Vを利用した新しいアプローチを提案する。
1) GPT-4Vは, 資料を効果的に認識し, 記述し, 詳細な資料ライブラリの構築を可能にすることを実証する。
2)視覚的手がかりと階層的テキストプロンプトを組み合わせることで,GPT-4Vは材料を3Dオブジェクトの対応するコンポーネントと正確に識別・整合する。
3) 正マッチした材料は, 元のアルベドマップに従って新たなSVBRDF材料生成の基準として細心の注意を払って適用され, 視覚的信頼性が著しく向上した。
Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
関連論文リスト
- Boosting 3D Object Generation through PBR Materials [32.732511476490316]
物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。
アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。
粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
論文 参考訳（メタデータ） (2024-11-25T04:20:52Z) - Edify 3D: Scalable High-Quality 3D Asset Generation [53.86838858460809]
Edify 3Dは高品質な3Dアセット生成のために設計された高度なソリューションである。
提案手法は,2分間で詳細な形状,清潔な形状のトポロジ,高分解能なテクスチャ,材料で高品質な3Dアセットを生成できる。
論文 参考訳（メタデータ） (2024-11-11T17:07:43Z) - RGM: Reconstructing High-fidelity 3D Car Assets with Relightable 3D-GS Generative Model from a Single Image [30.049602796278133]
高品質な3Dカーアセットは、ビデオゲーム、自動運転、バーチャルリアリティーなど、さまざまなアプリケーションに欠かせない。
3Dオブジェクトの表現としてNeRFや3D-GSを利用する現在の3D生成法は、固定照明下でランベルティアンオブジェクトを生成する。
単一入力画像から3Dカー資産を自動生成する新しい3Dオブジェクト生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:54:03Z) - MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。
テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。
我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-26T17:54:38Z) - MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。
このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文 参考訳（メタデータ） (2024-04-22T07:00:17Z) - HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a
Single Image [94.11473240505534]
一つの画像から3Dコンテンツを作成するためのツールであるHyperDreamerを紹介します。
ユーザーは、結果の3Dコンテンツをフル範囲から閲覧、レンダリング、編集できないため、ポストジェネレーションの使用には十分である。
高分解能なテクスチャとユーザフレンドリーな編集が可能な領域認識素材のモデリングにおけるHyperDreamerの有効性を実証する。
論文 参考訳（メタデータ） (2023-12-07T18:58:09Z) - MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR [29.96046140529936]
BRDF自動エンコーダ(textbfMATLABER)を用いたマテリアル・アウェア・テキスト・トゥ・3Dを提案する。
我々は,この自動エンコーダを大規模実世界のBRDFコレクションで訓練し,その潜在空間の滑らかさを確保する。
提案手法は, 現実的かつ一貫性のある物質を生成する上で, 既存の物質よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-18T03:40:38Z) - Anything-3D: Towards Single-view Anything Reconstruction in the Wild [61.090129285205805]
本稿では,一連の視覚言語モデルとSegment-Anythingオブジェクトセグメンテーションモデルを組み合わせた方法論的フレームワークであるAnything-3Dを紹介する。
提案手法では、BLIPモデルを用いてテキスト記述を生成し、Segment-Anythingモデルを用いて関心対象を効果的に抽出し、テキスト・画像拡散モデルを用いて物体を神経放射場へ持ち上げる。
論文 参考訳（メタデータ） (2023-04-19T16:39:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。