論文の概要: Locally Adaptive Neural 3D Morphable Models

• arxiv url: http://arxiv.org/abs/2401.02937v1
• Date: Fri, 5 Jan 2024 18:28:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 14:27:50.293571
• Title: Locally Adaptive Neural 3D Morphable Models
• Title（参考訳）: 局所適応型ニューラル3次元モーファブルモデル
• Authors: Michail Tarasiou, Rolandos Alexandros Potamias, Eimear O'Sullivan, Stylianos Ploumpis, Stefanos Zafeiriou
• Abstract要約: 本稿では、3Dメッシュの生成と操作を学習するフレームワークであるLocally Adaptive Morphable Model (LAMM)を紹介する。 非常に効率的な計算グラフにより、我々のネットワークは、以前の手法で必要とされるメモリのごく一部でトレーニングできる。 さらに、より高度な編集操作のためのプリミティブとして局所幾何学制御を活用し、微分関数のセットを示す。
• 参考スコア（独自算出の注目度）: 38.38400553022714
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present the Locally Adaptive Morphable Model (LAMM), a highly flexible Auto-Encoder (AE) framework for learning to generate and manipulate 3D meshes. We train our architecture following a simple self-supervised training scheme in which input displacements over a set of sparse control vertices are used to overwrite the encoded geometry in order to transform one training sample into another. During inference, our model produces a dense output that adheres locally to the specified sparse geometry while maintaining the overall appearance of the encoded object. This approach results in state-of-the-art performance in both disentangling manipulated geometry and 3D mesh reconstruction. To the best of our knowledge LAMM is the first end-to-end framework that enables direct local control of 3D vertex geometry in a single forward pass. A very efficient computational graph allows our network to train with only a fraction of the memory required by previous methods and run faster during inference, generating 12k vertex meshes at $>$60fps on a single CPU thread. We further leverage local geometry control as a primitive for higher level editing operations and present a set of derivative capabilities such as swapping and sampling object parts. Code and pretrained models can be found at https://github.com/michaeltrs/LAMM.
• Abstract（参考訳）: 本稿では3Dメッシュの生成と操作を学習するための,高度に柔軟な自動エンコーダ(AE)フレームワークであるLocally Adaptive Morphable Model(LAMM)を提案する。 我々は,スパース制御頂点のセット上の入力変位を利用して符号化幾何を上書きし,一方のトレーニングサンプルを他方に変換する,単純な自己教師付きトレーニングスキームに従って,アーキテクチャをトレーニングする。 推論中,本モデルは,符号化対象の全体像を維持しつつ,特定スパース形状に局所的に付着する高密度出力を生成する。 このアプローチは,3次元メッシュ再構成と切り離された操作された幾何学の両面での最先端性能をもたらす。 私たちの知る限りでは、lammは1回のフォワードパスで3d頂点幾何を直接ローカルに制御できる最初のエンドツーエンドフレームワークです。 非常に効率的な計算グラフによって、以前のメソッドに必要なメモリのほんの一部でネットワークをトレーニングでき、推論中に高速に実行でき、1つのcpuスレッドで1kの頂点メッシュを$>60fpsで生成できます。 さらに,より高レベルな編集操作のためのプリミティブとして局所幾何制御を活用し,オブジェクト部品のスワップやサンプリングといった派生的な機能を提示する。 コードと事前訓練されたモデルはhttps://github.com/michaeltrs/LAMMで見ることができる。

関連論文リスト

• Oriented-grid Encoder for 3D Implicit Representations [10.02138130221506]
  本論文は,3次元幾何エンコーダの3次元特性を明示的に利用した最初のものである。 提案手法は,従来の手法と比較して最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-02-09T19:28:13Z)
• Dual Octree Graph Networks for Learning Adaptive Volumetric Shape Representations [21.59311861556396]
  本手法は,3次元形状の体積場を,オクツリーによって構成された適応的特徴量で符号化する。 エンコーダ・デコーダネットワークは、オクツリーノードの二重グラフ上のグラフ畳み込みに基づいて、適応的な特徴量を学ぶように設計されている。 提案手法は, 形状詳細を効果的に符号化し, 高速な3次元形状復元を可能にし, 訓練カテゴリから3次元形状をモデル化するための優れた汎用性を示す。
  論文  参考訳（メタデータ） (2022-05-05T17:56:34Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• HyperCube: Implicit Field Representations of Voxelized 3D Models [18.868266675878996]
  本稿では,3Dボクセルの直接処理を可能にするHyperCubeアーキテクチャを提案する。 ボクセル内から個々の3Dサンプルを処理するのではなく, 凸座標で表されるボクセル全体を入力できる。
  論文  参考訳（メタデータ） (2021-10-12T06:56:48Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training [3.8073142980733]
  我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。 我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
  論文  参考訳（メタデータ） (2020-09-02T00:51:51Z)
• Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows [79.39092757515395]
  ニューラルメッシュフロー (NMF) を用いて, 種数0の2次元メッシュを生成する。 NMFは数個のニューラル正規微分方程式(NODE)ブロックからなる形状自動エンコーダで、球面メッシュを段階的に変形させることで正確なメッシュ形状を学習する。 実験の結果,NMFは単一視点メッシュ再構成,大域的な形状パラメータ化,テクスチャマッピング,形状変形,対応性など,いくつかの応用に役立つことがわかった。
  論文  参考訳（メタデータ） (2020-07-21T17:45:41Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Learning Local Neighboring Structure for Robust 3D Shape Representation [143.15904669246697]
  3Dメッシュの表現学習は多くのコンピュータビジョンやグラフィックスアプリケーションにおいて重要である。 局所構造認識型異方性畳み込み操作(LSA-Conv)を提案する。 本モデルでは,3次元形状復元において最先端の手法に比べて顕著な改善が得られた。
  論文  参考訳（メタデータ） (2020-04-21T13:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。