論文の概要: MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

• arxiv url: http://arxiv.org/abs/2404.17569v2
• Date: Tue, 25 Jun 2024 14:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 19:59:30.883684
• Title: MaPa: Text-driven Photorealistic Material Painting for 3D Shapes
• Title（参考訳）: MaPa:3次元形状のためのテキスト駆動フォトリアリスティックマテリアルペイント
• Authors: Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen, Nan Xue, Yujun Shen, Hujun Bao, Ruizhen Hu, Xiaowei Zhou,
• Abstract要約: 本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
• 参考スコア（独自算出の注目度）: 80.66880375862628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper aims to generate materials for 3D meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance representation, which supports high-quality rendering and provides substantial flexibility in editing. Instead of relying on extensive paired data, i.e., 3D meshes with material graphs and corresponding text descriptions, to train a material graph generative model, we propose to leverage the pre-trained 2D diffusion model as a bridge to connect the text and material graphs. Specifically, our approach decomposes a shape into a set of segments and designs a segment-controlled diffusion model to synthesize 2D images that are aligned with mesh parts. Based on generated images, we initialize parameters of material graphs and fine-tune them through the differentiable rendering module to produce materials in accordance with the textual description. Extensive experiments demonstrate the superior performance of our framework in photorealism, resolution, and editability over existing methods. Project page: https://zju3dv.github.io/MaPa
• Abstract（参考訳）: 本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは違って,高品質なレンダリングをサポートし,編集の柔軟性に優れる外観表現として,セグメントワイズプロシージャ素材グラフを生成することを提案する。 物質グラフとそれに対応するテキスト記述を含む3次元メッシュを併用して,物質グラフ生成モデルをトレーニングする代わりに,既学習の2次元拡散モデルをブリッジとして活用し,テキストと物質グラフを接続する手法を提案する。 具体的には,形状をセグメントの集合に分解し,メッシュ部品に整列した2次元画像を合成するためのセグメント制御拡散モデルを設計する。 生成した画像に基づいて、材料グラフのパラメータを初期化し、それを微分可能なレンダリングモジュールを通して微調整し、テキスト記述に従って材料を生成する。 大規模な実験は、既存の方法よりもフォトリアリズム、解像度、編集性において、我々のフレームワークの優れた性能を示す。 プロジェクトページ:https://zju3dv.github.io/MaPa

関連論文リスト

• MTFusion: Reconstructing Any 3D Object from Single Image Using Multi-word Textual Inversion [10.912989885886617]
  高忠実度3D再構成に画像データとテキスト記述の両方を活用するMTFusionを提案する。 提案手法は,2つの段階から構成される。まず,新しい多語テキスト変換手法を採用し,詳細なテキスト記述を抽出する。 そして、この記述と画像を用いてFlexiCubesで3Dモデルを生成する。
  論文  参考訳（メタデータ） (2024-11-19T03:29:18Z)
• MatAtlas: Text-driven Consistent Geometry Texturing and Material Assignment [11.721314027024547]
  MatAtlasは、一貫したテキスト誘導3Dモデルのための方法である。 多段階のテクスチャリファインメントプロセスを提案することにより、品質と一貫性を著しく改善する。
  論文  参考訳（メタデータ） (2024-04-03T17:57:15Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs [74.98581417902201]
  シーングラフから合成3Dシーンを生成するための新しいフレームワークを提案する。 シーングラフにおけるノード情報とエッジ情報を活用することにより,事前学習したテキスト・画像拡散モデルをよりよく活用する。 GraphDreamerの有効性を検証するために,定性的および定量的な実験を行った。
  論文  参考訳（メタデータ） (2023-11-30T18:59:58Z)
• Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
  実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。 画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。 第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
  論文  参考訳（メタデータ） (2023-11-28T18:59:58Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
  テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。 レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。 構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
  論文  参考訳（メタデータ） (2023-03-23T13:53:16Z)
• Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
  入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。 我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。 これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-03-21T16:21:02Z)
• Photo-to-Shape Material Transfer for Diverse Structures [15.816608726698986]
  本稿では,3次元形状に光写実的可照性材料を自動的に割り当てる手法を提案する。 本手法は,画像翻訳ニューラルネットワークと物質割当ニューラルネットワークを組み合わせる。 本手法により, 材料を形状に割り当てることができ, 外観が入力例によく似ていることを示す。
  論文  参考訳（メタデータ） (2022-05-09T03:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。