論文の概要: Mesh Neural Cellular Automata

• arxiv url: http://arxiv.org/abs/2311.02820v2
• Date: Thu, 16 May 2024 12:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 19:24:18.909247
• Title: Mesh Neural Cellular Automata
• Title（参考訳）: メッシュニューラルセルオートマタ
• Authors: Ehsan Pajouheshgar, Yitao Xu, Alexander Mordvintsev, Eyvind Niklasson, Tong Zhang, Sabine Süsstrunk,
• Abstract要約: 本稿では,UVマップを必要とせずに3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルオートマタ(MeshNCA)を提案する。 IcosphereメッシュでのみトレーニングされたMeshNCAは、驚くべきテストタイムの一般化を示し、目に見えないメッシュ上でテクスチャをリアルタイムで合成する。
• 参考スコア（独自算出の注目度）: 62.101063045659906
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Texture modeling and synthesis are essential for enhancing the realism of virtual environments. Methods that directly synthesize textures in 3D offer distinct advantages to the UV-mapping-based methods as they can create seamless textures and align more closely with the ways textures form in nature. We propose Mesh Neural Cellular Automata (MeshNCA), a method that directly synthesizes dynamic textures on 3D meshes without requiring any UV maps. MeshNCA is a generalized type of cellular automata that can operate on a set of cells arranged on non-grid structures such as the vertices of a 3D mesh. MeshNCA accommodates multi-modal supervision and can be trained using different targets such as images, text prompts, and motion vector fields. Only trained on an Icosphere mesh, MeshNCA shows remarkable test-time generalization and can synthesize textures on unseen meshes in real time. We conduct qualitative and quantitative comparisons to demonstrate that MeshNCA outperforms other 3D texture synthesis methods in terms of generalization and producing high-quality textures. Moreover, we introduce a way of grafting trained MeshNCA instances, enabling interpolation between textures. MeshNCA allows several user interactions including texture density/orientation controls, grafting/regenerate brushes, and motion speed/direction controls. Finally, we implement the forward pass of our MeshNCA model using the WebGL shading language and showcase our trained models in an online interactive demo, which is accessible on personal computers and smartphones and is available at https://meshnca.github.io.
• Abstract（参考訳）: 仮想環境の現実性を高めるためには,テクスチャモデリングと合成が不可欠である。 3Dでテクスチャを直接合成する方法は、シームレスなテクスチャを作成し、自然界のテクスチャの形成方法とより密に連携できるため、UVマッピング方式に対して明確なアドバンテージを提供する。 本稿では,UVマップを必要とせずに3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルオートマタ(MeshNCA)を提案する。 MeshNCAは一般化されたセルオートマトンの一種で、3Dメッシュの頂点のような非グリッド構造上に配置されたセルの集合で動作する。 MeshNCAはマルチモーダルな監視が可能で、画像、テキストプロンプト、モーションベクトルフィールドなど、さまざまなターゲットを使ってトレーニングすることができる。 IcosphereメッシュでのみトレーニングされたMeshNCAは、驚くべきテストタイムの一般化を示し、目に見えないメッシュ上でテクスチャをリアルタイムで合成する。 定性的かつ定量的な比較を行い、MeshNCAは他の3次元テクスチャ合成法よりも、一般化と高品質テクスチャの生成において優れていることを示す。 さらに,トレーニング済みのMeshNCAインスタンスをグラフトする方法を導入し,テクスチャ間の補間を可能にする。 MeshNCAは、テクスチャ密度/方位制御、グラフト/再生ブラシ、動き速度/方向制御など、いくつかのユーザインタラクションを可能にする。 最後に、WebGLシェーディング言語を使用して、MeshNCAモデルの前方パスを実装し、トレーニング済みモデルをオンラインインタラクティブなデモで紹介する。

関連論文リスト

• DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation [149.77077125310805]
  我々はDreamMeshを提案する。DreamMeshは、明確に定義された表面(三角形メッシュ)をピボットして高忠実な3Dモデルを生成する、新しいテキスト・ツー・3Dアーキテクチャである。 粗い段階では、メッシュはまずテキスト誘導ジャコビアンによって変形し、その後DreamMeshは2D拡散モデルを用いてメッシュをテクスチャ化する。 細かい段階では、DreamMeshはメッシュを共同で操作し、テクスチャマップを洗練し、高品質なトライアングルメッシュを高忠実なテクスチャ素材で実現する。
  論文  参考訳（メタデータ） (2024-09-11T17:59:02Z)
• Multi-Texture Synthesis through Signal Responsive Neural Cellular Automata [44.99833362998488]
  我々は、個々の例に基づいて、複数のテクスチャの進化のために単一のNAAを訓練する。 我々のソリューションは、内部コード化されたゲノム信号の形で、各セルの状態をテクスチャ情報として提供し、NAAが期待するテクスチャを生成することを可能にする。
  論文  参考訳（メタデータ） (2024-07-08T14:36:20Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• N-Cloth: Predicting 3D Cloth Deformation with Mesh-Based Networks [69.94313958962165]
  本稿では,3次元布の変形予測のためのメッシュに基づく新しい学習手法(N-Cloth)を提案する。 グラフ畳み込みを用いて、メッシュ空間の非線形性を低減するために、布とメッシュを潜在空間に変換する。 我々のアプローチは、SMPL人間、非SMPL人間、または剛体に対応する様々な物体で、最大100ドルの三角形とシーンを持つ複雑な布メッシュを扱うことができる。
  論文  参考訳（メタデータ） (2021-12-13T03:13:11Z)
• Text2Mesh: Text-Driven Neural Stylization for Meshes [18.435567297462416]
  筆者らのフレームワークText2Meshは,対象のテキストプロンプトに適合する色や局所的な幾何学的詳細を予測することにより,3Dメッシュをスタイリングする。 ニューラルネットワークと結合した固定メッシュ入力(コンテンツ)を用いた3次元物体の非交叉表現をニューラルネットワークと呼ぶ。 スタイルを変更するために、CLIPの表現力を利用してテキストプロンプト(記述スタイル)とスタイル化されたメッシュの類似度スコアを得る。
  論文  参考訳（メタデータ） (2021-12-06T18:23:29Z)
• Novel-View Human Action Synthesis [39.72702883597454]
  対象視点を合成する新しい3D推論を提案する。 まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。 本研究では, 局地的, 地域的, グローバルなテクスチャを伝達することで, 半密度のテクスチャメッシュを創出する。
  論文  参考訳（メタデータ） (2020-07-06T15:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。