論文の概要: Mesh Neural Cellular Automata
- arxiv url: http://arxiv.org/abs/2311.02820v1
- Date: Mon, 6 Nov 2023 01:54:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 15:36:51.295032
- Title: Mesh Neural Cellular Automata
- Title(参考訳): メッシュニューラルセルオートマトン
- Authors: Ehsan Pajouheshgar, Yitao Xu, Alexander Mordvintsev, Eyvind Niklasson,
Tong Zhang, Sabine S\"usstrunk
- Abstract要約: UVマップを必要としない3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルラーオートマタ(MeshNCA)を提案する。
MeshNCAは優れた一般化を示し、トレーニング後に任意のメッシュ上でテクスチャをリアルタイムで合成することができる。
メッシュNCAモデルはメッシュ上でリアルタイムな3次元テクスチャ合成を可能にし,テクスチャ密度/配向制御,グラフトブラシ,動き速度/方向制御などのユーザインタラクションを実現する。
- 参考スコア(独自算出の注目度): 51.80062533524938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling and synthesizing textures are essential for enhancing the realism of
virtual environments. Methods that directly synthesize textures in 3D offer
distinct advantages to the UV-mapping-based methods as they can create seamless
textures and align more closely with the ways textures form in nature. We
propose Mesh Neural Cellular Automata (MeshNCA), a method for directly
synthesizing dynamic textures on 3D meshes without requiring any UV maps.
MeshNCA is a generalized type of cellular automata that can operate on a set of
cells arranged on a non-grid structure such as vertices of a 3D mesh. While
only being trained on an Icosphere mesh, MeshNCA shows remarkable
generalization and can synthesize textures on any mesh in real time after the
training. Additionally, it accommodates multi-modal supervision and can be
trained using different targets such as images, text prompts, and motion vector
fields. Moreover, we conceptualize a way of grafting trained MeshNCA instances,
enabling texture interpolation. Our MeshNCA model enables real-time 3D texture
synthesis on meshes and allows several user interactions including texture
density/orientation control, a grafting brush, and motion speed/direction
control. Finally, we implement the forward pass of our MeshNCA model using the
WebGL shading language and showcase our trained models in an online interactive
demo which is accessible on personal computers and smartphones. Our demo and
the high resolution version of this PDF are available at
https://meshnca.github.io/.
- Abstract(参考訳): 仮想環境の現実性を高めるためには,テクスチャのモデリングと合成が不可欠である。
3dでテクスチャを直接合成する手法は、シームレスなテクスチャを作成でき、テクスチャが自然に形成される方法とより密接に連携できるため、uvマッピングベースの方法に異なる利点をもたらす。
本研究では,3dメッシュ上での動的テクスチャを直接合成する手法であるmesh neural cell automata (meshnca)を提案する。
MeshNCAは一般化されたセルオートマトンの一種で、3Dメッシュの頂点のような非グリッド構造上に配置されたセルの集合で動作する。
Icosphereメッシュでのみトレーニングされるが、MeshNCAは目覚ましい一般化を示し、トレーニング後の任意のメッシュ上でテクスチャをリアルタイムで合成することができる。
さらに、マルチモーダル監督に対応し、画像、テキストプロンプト、動きベクトルフィールドなどの異なるターゲットを使用してトレーニングすることができる。
さらに,トレーニング済みの MeshNCA インスタンスを移植する方法を概念化し,テクスチャ補間を可能にする。
メッシュNCAモデルはメッシュ上でリアルタイムな3次元テクスチャ合成を可能にし,テクスチャ密度/配向制御,グラフトブラシ,動き速度/方向制御などのユーザインタラクションを実現する。
最後に、WebGLシェーディング言語を使用して、MeshNCAモデルの前方パスを実装し、トレーニングされたモデルを、パーソナルコンピュータやスマートフォンでアクセス可能なオンラインインタラクティブなデモで示す。
このpdfのデモと高解像度版はhttps://meshnca.github.io/で入手できる。
関連論文リスト
- FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - ClipFace: Text-guided Editing of Textured 3D Morphable Models [33.83015491013442]
ClipFaceはテクスチャ化された顔の3次元形態素モデルのテキスト誘導編集のための新しい自己教師型アプローチである。
ユーザフレンドリーな言語プロンプトを用いて表現の制御と3D顔の出現を可能にする。
我々のモデルは、事前訓練されたCLIPモデルに基づいて、差別化可能なレンダリングと損失を利用して、自己教師型で訓練される。
論文 参考訳(メタデータ) (2022-12-02T19:01:08Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳(メタデータ) (2022-09-22T17:16:19Z) - AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。
結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。
学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-04-06T21:39:24Z) - N-Cloth: Predicting 3D Cloth Deformation with Mesh-Based Networks [69.94313958962165]
本稿では,3次元布の変形予測のためのメッシュに基づく新しい学習手法(N-Cloth)を提案する。
グラフ畳み込みを用いて、メッシュ空間の非線形性を低減するために、布とメッシュを潜在空間に変換する。
我々のアプローチは、SMPL人間、非SMPL人間、または剛体に対応する様々な物体で、最大100ドルの三角形とシーンを持つ複雑な布メッシュを扱うことができる。
論文 参考訳(メタデータ) (2021-12-13T03:13:11Z) - Text2Mesh: Text-Driven Neural Stylization for Meshes [18.435567297462416]
筆者らのフレームワークText2Meshは,対象のテキストプロンプトに適合する色や局所的な幾何学的詳細を予測することにより,3Dメッシュをスタイリングする。
ニューラルネットワークと結合した固定メッシュ入力(コンテンツ)を用いた3次元物体の非交叉表現をニューラルネットワークと呼ぶ。
スタイルを変更するために、CLIPの表現力を利用してテキストプロンプト(記述スタイル)とスタイル化されたメッシュの類似度スコアを得る。
論文 参考訳(メタデータ) (2021-12-06T18:23:29Z) - Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。
特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。
本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-08-18T07:44:21Z) - Novel-View Human Action Synthesis [39.72702883597454]
対象視点を合成する新しい3D推論を提案する。
まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。
本研究では, 局地的, 地域的, グローバルなテクスチャを伝達することで, 半密度のテクスチャメッシュを創出する。
論文 参考訳(メタデータ) (2020-07-06T15:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。