論文の概要: Single Mesh Diffusion Models with Field Latents for Texture Generation
- arxiv url: http://arxiv.org/abs/2312.09250v1
- Date: Thu, 14 Dec 2023 18:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 20:16:54.543642
- Title: Single Mesh Diffusion Models with Field Latents for Texture Generation
- Title(参考訳): テクスチャ生成のためのフィールドレイトを用いた単一メッシュ拡散モデル
- Authors: Thomas W. Mitchel, Carlos Esteves, Ameesh Makadia
- Abstract要約: 本稿では,3次元形状の表面に直接作用する固有潜在拡散モデルを提案する。
私たちは、メッシュ上の特定のテクスチャのバリエーションを生成するために、モデルがトレーニングされる、単一テクスチャ・メシュのパラダイムを考えています。
我々のモデルは、インペイントやラベル誘導生成などのユーザ制御編集タスクにも適応できる。
- 参考スコア(独自算出の注目度): 21.108260594558434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a framework for intrinsic latent diffusion models operating
directly on the surfaces of 3D shapes, with the goal of synthesizing
high-quality textures. Our approach is underpinned by two contributions: field
latents, a latent representation encoding textures as discrete vector fields on
the mesh vertices, and field latent diffusion models, which learn to denoise a
diffusion process in the learned latent space on the surface. We consider a
single-textured-mesh paradigm, where our models are trained to generate
variations of a given texture on a mesh. We show the synthesized textures are
of superior fidelity compared those from existing single-textured-mesh
generative models. Our models can also be adapted for user-controlled editing
tasks such as inpainting and label-guided generation. The efficacy of our
approach is due in part to the equivariance of our proposed framework under
isometries, allowing our models to seamlessly reproduce details across locally
similar regions and opening the door to a notion of generative texture
transfer.
- Abstract(参考訳): 高品質なテクスチャを合成することを目的として、3次元形状の表面に直接作用する固有潜在拡散モデルの枠組みを導入する。
メッシュ頂点上の離散ベクトル場としてテクスチャをエンコードする潜在表現であるfield latentsと、表面上の学習された潜在空間における拡散過程を無声化することを学ぶfield latent diffusion modelである。
モデルは、メッシュ上の所定のテクスチャのバリエーションを生成するようにトレーニングされます。
合成テクスチャは,既存の単一テクスチャ・メシュ生成モデルと比較すると,優れた忠実度を示す。
我々のモデルは、インペイントやラベル誘導生成などのユーザ制御編集タスクにも適応できる。
提案手法の有効性は, アイソメトリー下でのフレームワークの等価性に起因し, 局所的に類似した領域の細部をシームレスに再現し, 生成的テクスチャ伝達の概念への扉を開くことができる。
関連論文リスト
- Semantic Human Mesh Reconstruction with Textures [43.03509017865438]
SHERTは、セマンティックなヒューマンメッシュをテクスチャと高精度で再構築する、新しいパイプラインである。
再構成メッシュには、安定した紫外線アンラッピング、高品質なトライアングルメッシュ、一貫性のあるセマンティック情報がある。
論文 参考訳(メタデータ) (2024-03-05T00:34:05Z) - Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based
View Synthesis [70.40950409274312]
我々は、細い構造を再構築する能力を損なうことなく、表面への収束を促すために密度場を変更する。
また, メッシュの単純化と外観モデルの適合により, 融合型メッシュ方式を開発した。
私たちのモデルで生成されたコンパクトメッシュは、モバイルデバイス上でリアルタイムでレンダリングできます。
論文 参考訳(メタデータ) (2024-02-19T18:59:41Z) - Diffusion-based Holistic Texture Rectification and Synthesis [26.144666226217062]
伝統的なテクスチャ合成アプローチは、原始サンプルからテクスチャを生成することに重点を置いている。
自然画像中の劣化サンプルから全体的テクスチャを合成するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-26T08:44:46Z) - Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。
提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。
新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
論文 参考訳(メタデータ) (2023-04-05T17:15:47Z) - MeshDiffusion: Score-based Generative 3D Mesh Modeling [68.40770889259143]
本研究では,シーンの自動生成と物理シミュレーションのための現実的な3次元形状生成の課題について考察する。
メッシュのグラフ構造を利用して、3Dメッシュを生成するのにシンプルだが非常に効果的な生成モデリング手法を用いる。
具体的には、変形可能な四面体格子でメッシュを表現し、この直接パラメトリゼーション上で拡散モデルを訓練する。
論文 参考訳(メタデータ) (2023-03-14T17:59:01Z) - Controllable Mesh Generation Through Sparse Latent Point Diffusion
Models [105.83595545314334]
メッシュ生成のための新しいスパース潜在点拡散モデルを設計する。
私たちの重要な洞察は、ポイントクラウドをメッシュの中間表現と見なし、代わりにポイントクラウドの分布をモデル化することです。
提案したスパース潜在点拡散モデルにより,生成品質と制御性において優れた性能が得られる。
論文 参考訳(メタデータ) (2023-03-14T14:25:29Z) - 3DGen: Triplane Latent Diffusion for Textured Mesh Generation [17.178939191534994]
三面体VAEは、テクスチャメッシュの潜時表現を学習し、条件拡散モデルが三面体の特徴を生成する。
このアーキテクチャは初めて、高品質なテクスチャ化された、3Dメッシュの条件付きおよび非条件生成を可能にする。
メッシュの品質とテクスチャ生成において、イメージコンディショニングと非コンディショナリ生成において、従来よりも大幅にパフォーマンスが向上した。
論文 参考訳(メタデータ) (2023-03-09T16:18:14Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - Mesh Draping: Parametrization-Free Neural Mesh Transfer [92.55503085245304]
Mesh Drapingは、既存のメッシュ構造をある形状から別の形状に転送するニューラルネットワークである。
我々は、徐々に増加する周波数を活用して、ニューラルネットワークの最適化を導くことにより、安定かつ高品質なメッシュ転送を実現することができることを示す。
論文 参考訳(メタデータ) (2021-10-11T17:24:52Z) - Vehicle Reconstruction and Texture Estimation Using Deep Implicit
Semantic Template Mapping [32.580904361799966]
車両の3次元形状と内在的なテクスチャを,非校正単分子入力から回収する有効なソリューションであるVERTEXを導入する。
グローバルな特徴とローカルな特徴を融合させることで、我々のアプローチは目に見える領域と見えない領域の両方で一貫した、詳細なテクスチャを生成することができる。
論文 参考訳(メタデータ) (2020-11-30T09:27:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。