論文の概要: Mesh Neural Cellular Automata

• arxiv url: http://arxiv.org/abs/2311.02820v1
• Date: Mon, 6 Nov 2023 01:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 15:36:51.295032
• Title: Mesh Neural Cellular Automata
• Title（参考訳）: メッシュニューラルセルオートマトン
• Authors: Ehsan Pajouheshgar, Yitao Xu, Alexander Mordvintsev, Eyvind Niklasson, Tong Zhang, Sabine S\"usstrunk
• Abstract要約: UVマップを必要としない3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルラーオートマタ(MeshNCA)を提案する。 MeshNCAは優れた一般化を示し、トレーニング後に任意のメッシュ上でテクスチャをリアルタイムで合成することができる。 メッシュNCAモデルはメッシュ上でリアルタイムな3次元テクスチャ合成を可能にし,テクスチャ密度/配向制御,グラフトブラシ,動き速度/方向制御などのユーザインタラクションを実現する。
• 参考スコア（独自算出の注目度）: 51.80062533524938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling and synthesizing textures are essential for enhancing the realism of virtual environments. Methods that directly synthesize textures in 3D offer distinct advantages to the UV-mapping-based methods as they can create seamless textures and align more closely with the ways textures form in nature. We propose Mesh Neural Cellular Automata (MeshNCA), a method for directly synthesizing dynamic textures on 3D meshes without requiring any UV maps. MeshNCA is a generalized type of cellular automata that can operate on a set of cells arranged on a non-grid structure such as vertices of a 3D mesh. While only being trained on an Icosphere mesh, MeshNCA shows remarkable generalization and can synthesize textures on any mesh in real time after the training. Additionally, it accommodates multi-modal supervision and can be trained using different targets such as images, text prompts, and motion vector fields. Moreover, we conceptualize a way of grafting trained MeshNCA instances, enabling texture interpolation. Our MeshNCA model enables real-time 3D texture synthesis on meshes and allows several user interactions including texture density/orientation control, a grafting brush, and motion speed/direction control. Finally, we implement the forward pass of our MeshNCA model using the WebGL shading language and showcase our trained models in an online interactive demo which is accessible on personal computers and smartphones. Our demo and the high resolution version of this PDF are available at https://meshnca.github.io/.
• Abstract（参考訳）: 仮想環境の現実性を高めるためには,テクスチャのモデリングと合成が不可欠である。 3dでテクスチャを直接合成する手法は、シームレスなテクスチャを作成でき、テクスチャが自然に形成される方法とより密接に連携できるため、uvマッピングベースの方法に異なる利点をもたらす。 本研究では,3dメッシュ上での動的テクスチャを直接合成する手法であるmesh neural cell automata (meshnca)を提案する。 MeshNCAは一般化されたセルオートマトンの一種で、3Dメッシュの頂点のような非グリッド構造上に配置されたセルの集合で動作する。 Icosphereメッシュでのみトレーニングされるが、MeshNCAは目覚ましい一般化を示し、トレーニング後の任意のメッシュ上でテクスチャをリアルタイムで合成することができる。 さらに、マルチモーダル監督に対応し、画像、テキストプロンプト、動きベクトルフィールドなどの異なるターゲットを使用してトレーニングすることができる。 さらに,トレーニング済みの MeshNCA インスタンスを移植する方法を概念化し,テクスチャ補間を可能にする。 メッシュNCAモデルはメッシュ上でリアルタイムな3次元テクスチャ合成を可能にし,テクスチャ密度/配向制御,グラフトブラシ,動き速度/方向制御などのユーザインタラクションを実現する。 最後に、WebGLシェーディング言語を使用して、MeshNCAモデルの前方パスを実装し、トレーニングされたモデルを、パーソナルコンピュータやスマートフォンでアクセス可能なオンラインインタラクティブなデモで示す。 このpdfのデモと高解像度版はhttps://meshnca.github.io/で入手できる。

関連論文リスト

• DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation [149.77077125310805]
  我々はDreamMeshを提案する。DreamMeshは、明確に定義された表面(三角形メッシュ)をピボットして高忠実な3Dモデルを生成する、新しいテキスト・ツー・3Dアーキテクチャである。 粗い段階では、メッシュはまずテキスト誘導ジャコビアンによって変形し、その後DreamMeshは2D拡散モデルを用いてメッシュをテクスチャ化する。 細かい段階では、DreamMeshはメッシュを共同で操作し、テクスチャマップを洗練し、高品質なトライアングルメッシュを高忠実なテクスチャ素材で実現する。
  論文  参考訳（メタデータ） (2024-09-11T17:59:02Z)
• Multi-Texture Synthesis through Signal Responsive Neural Cellular Automata [44.99833362998488]
  我々は、個々の例に基づいて、複数のテクスチャの進化のために単一のNAAを訓練する。 我々のソリューションは、内部コード化されたゲノム信号の形で、各セルの状態をテクスチャ情報として提供し、NAAが期待するテクスチャを生成することを可能にする。
  論文  参考訳（メタデータ） (2024-07-08T14:36:20Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• N-Cloth: Predicting 3D Cloth Deformation with Mesh-Based Networks [69.94313958962165]
  本稿では,3次元布の変形予測のためのメッシュに基づく新しい学習手法(N-Cloth)を提案する。 グラフ畳み込みを用いて、メッシュ空間の非線形性を低減するために、布とメッシュを潜在空間に変換する。 我々のアプローチは、SMPL人間、非SMPL人間、または剛体に対応する様々な物体で、最大100ドルの三角形とシーンを持つ複雑な布メッシュを扱うことができる。
  論文  参考訳（メタデータ） (2021-12-13T03:13:11Z)
• Text2Mesh: Text-Driven Neural Stylization for Meshes [18.435567297462416]
  筆者らのフレームワークText2Meshは,対象のテキストプロンプトに適合する色や局所的な幾何学的詳細を予測することにより,3Dメッシュをスタイリングする。 ニューラルネットワークと結合した固定メッシュ入力(コンテンツ)を用いた3次元物体の非交叉表現をニューラルネットワークと呼ぶ。 スタイルを変更するために、CLIPの表現力を利用してテキストプロンプト(記述スタイル)とスタイル化されたメッシュの類似度スコアを得る。
  論文  参考訳（メタデータ） (2021-12-06T18:23:29Z)
• Novel-View Human Action Synthesis [39.72702883597454]
  対象視点を合成する新しい3D推論を提案する。 まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。 本研究では, 局地的, 地域的, グローバルなテクスチャを伝達することで, 半密度のテクスチャメッシュを創出する。
  論文  参考訳（メタデータ） (2020-07-06T15:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。