論文の概要: 3DTextureTransformer: Geometry Aware Texture Generation for Arbitrary
Mesh Topology
- arxiv url: http://arxiv.org/abs/2403.04225v1
- Date: Thu, 7 Mar 2024 05:01:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 15:02:40.898916
- Title: 3DTextureTransformer: Geometry Aware Texture Generation for Arbitrary
Mesh Topology
- Title(参考訳): 3DTexture Transformer:任意メッシュトポロジーのための幾何学的テクスチャ生成
- Authors: Dharma KC, Clayton T. Morrison
- Abstract要約: 3Dメッシュと実世界の2D画像の集合が与えられた新しい3Dメッシュのテクスチャを生成することを学ぶことは、3Dシミュレーション、拡張現実、仮想現実、ゲーム、アーキテクチャ、デザインなど、さまざまな領域のアプリケーションにとって重要な問題である。
既存のソリューションは、高品質なテクスチャを生成したり、元の高解像度の入力メッシュトポロジを正規のグリッドに変形させたりすることで、この生成を容易にするが、元のメッシュトポロジを失う。
本稿では,3DTextureTransformerという新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 1.4349415652822481
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to generate textures for a novel 3D mesh given a collection of 3D
meshes and real-world 2D images is an important problem with applications in
various domains such as 3D simulation, augmented and virtual reality, gaming,
architecture, and design. Existing solutions either do not produce high-quality
textures or deform the original high-resolution input mesh topology into a
regular grid to make this generation easier but also lose the original mesh
topology. In this paper, we present a novel framework called the
3DTextureTransformer that enables us to generate high-quality textures without
deforming the original, high-resolution input mesh. Our solution, a hybrid of
geometric deep learning and StyleGAN-like architecture, is flexible enough to
work on arbitrary mesh topologies and also easily extensible to texture
generation for point cloud representations. Our solution employs a
message-passing framework in 3D in conjunction with a StyleGAN-like
architecture for 3D texture generation. The architecture achieves
state-of-the-art performance among a class of solutions that can learn from a
collection of 3D geometry and real-world 2D images while working with any
arbitrary mesh topology.
- Abstract(参考訳): 3dメッシュと現実世界の2dイメージのコレクションを与えられた新しい3dメッシュのテクスチャ生成の学習は、3dシミュレーション、拡張現実、仮想現実、ゲーム、アーキテクチャ、デザインといった様々な分野のアプリケーションにとって重要な問題である。
既存のソリューションは、高品質なテクスチャを生成したり、元の高解像度の入力メッシュトポロジを正規のグリッドに変形させたりすることで、この生成を容易にするが、元のメッシュトポロジを失う。
本稿では,従来の高分解能入力メッシュを変形することなく高品質なテクスチャを生成できる3dtexturetransformerと呼ばれる新しいフレームワークを提案する。
我々のソリューションは幾何学的なディープラーニングとStyleGANのようなアーキテクチャのハイブリッドであり、任意のメッシュトポロジを扱うのに十分な柔軟性があり、ポイントクラウド表現のためのテクスチャ生成にも容易に対応できる。
3dテクスチャ生成のためのstyleganライクなアーキテクチャと合わせて,メッセージパッシングフレームワークを3dで採用する。
このアーキテクチャは、任意のメッシュトポロジで作業しながら、3D幾何学と実世界の2D画像の集合から学習できるソリューションのクラスの中で、最先端のパフォーマンスを達成する。
関連論文リスト
- GeoScaler: Geometry and Rendering-Aware Downsampling of 3D Mesh Textures [0.07499722271664146]
高解像度テクスチャマップは、3Dメッシュで現実世界のオブジェクトを正確に表現するために必要である。
GeoScalerは幾何学的手がかりを取り入れつつ、3Dメッシュのテクスチャマップをダウンサンプリングする方法である。
また,GeoScalerが生成したテクスチャは,従来のダウンサンプリング手法に比べて,画質のよいレンダリング画像を提供することを示した。
論文 参考訳(メタデータ) (2023-11-28T07:55:25Z) - DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。
階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。
提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
論文 参考訳(メタデータ) (2023-09-08T16:17:45Z) - Mesh2Tex: Generating Mesh Textures from Image Queries [45.32242590651395]
特に、実際の物体の画像からのテクスチャ化されたステージテクスチャは、実際の画像観察と一致する。
本稿では,非相関な3次元オブジェクト形状のコレクションからオブジェクト形状を学習するMesh2Texを紹介する。
論文 参考訳(メタデータ) (2023-04-12T13:58:25Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - Pruning-based Topology Refinement of 3D Mesh using a 2D Alpha Mask [6.103988053817792]
本稿では,顔解析手法を用いて,任意の3次元メッシュのトポロジを洗練させる手法を提案する。
私たちのソリューションは、それぞれの顔を2次元のソフトマップとして描画する微分可能を利用しています。
我々のモジュールは3Dメッシュを生成するネットワークに非依存であるため、自己管理されたイメージベースの3D再構成パイプラインに簡単に接続することができる。
論文 参考訳(メタデータ) (2022-10-17T14:51:38Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳(メタデータ) (2022-09-22T17:16:19Z) - Texturify: Generating Textures on 3D Shape Surfaces [34.726179801982646]
本研究では3次元入力のテクスチャを予測する3次元形状を学習するためにTexturifyを提案する。
本手法では,3Dオブジェクトの学習に3Dカラー管理は不要である。
論文 参考訳(メタデータ) (2022-04-05T18:00:04Z) - 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style
Variations [81.45521258652734]
本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。
提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
論文 参考訳(メタデータ) (2021-08-30T02:28:31Z) - Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。
特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。
本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-08-18T07:44:21Z) - 3DBooSTeR: 3D Body Shape and Texture Recovery [76.91542440942189]
3DBooSTeRは、部分的な3Dスキャンからテクスチャ化された3Dボディメッシュを復元する新しい方法である。
提案手法は形状とテクスチャの完成を2つの逐次的なタスクに分解する。
論文 参考訳(メタデータ) (2020-10-23T21:07:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。