論文の概要: SPAMs: Structured Implicit Parametric Models
- arxiv url: http://arxiv.org/abs/2201.08141v1
- Date: Thu, 20 Jan 2022 12:33:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 14:22:55.511177
- Title: SPAMs: Structured Implicit Parametric Models
- Title(参考訳): SPAM:構造化された暗黙パラメトリックモデル
- Authors: Pablo Palafox, Nikolaos Sarafianos, Tony Tung, Angela Dai
- Abstract要約: 本研究では,非剛体物体の動きを形状とポーズの部分的不整合表現に構造的に分解する変形可能なオブジェクト表現として,構造化単純パラメトリックモデル(SPAM)を学習する。
複雑な変形物体の動きの深度配列の復元と追跡において、我々の部分認識形状とポーズ理解が最先端のパフォーマンスに繋がることを示す実験を行った。
- 参考スコア(独自算出の注目度): 30.19414242608965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parametric 3D models have formed a fundamental role in modeling deformable
objects, such as human bodies, faces, and hands; however, the construction of
such parametric models requires significant manual intervention and domain
expertise. Recently, neural implicit 3D representations have shown great
expressibility in capturing 3D shape geometry. We observe that deformable
object motion is often semantically structured, and thus propose to learn
Structured-implicit PArametric Models (SPAMs) as a deformable object
representation that structurally decomposes non-rigid object motion into
part-based disentangled representations of shape and pose, with each being
represented by deep implicit functions. This enables a structured
characterization of object movement, with part decomposition characterizing a
lower-dimensional space in which we can establish coarse motion correspondence.
In particular, we can leverage the part decompositions at test time to fit to
new depth sequences of unobserved shapes, by establishing part correspondences
between the input observation and our learned part spaces; this guides a robust
joint optimization between the shape and pose of all parts, even under dramatic
motion sequences. Experiments demonstrate that our part-aware shape and pose
understanding lead to state-of-the-art performance in reconstruction and
tracking of depth sequences of complex deforming object motion. We plan to
release models to the public at https://pablopalafox.github.io/spams.
- Abstract(参考訳): パラメトリック3Dモデルは、人体、顔、手などの変形可能な物体のモデリングにおいて基本的な役割を担っているが、そのようなパラメトリックモデルの構築にはかなりの手動介入とドメインの専門知識が必要である。
近年, ニューラルな暗黙的3次元表現は3次元形状を捉える上で非常に表現性が高い。
変形可能な物体の運動はしばしば意味論的に構造化されるので,非剛体物体の運動を非剛体物体の運動を部分的に分解する変形可能な物体表現(SPAM)を,深い暗黙関数で表現した形で学習することを提案する。
これにより、粗い動き対応を確立できる低次元空間を特徴付ける部分分解により、物体の動きを構造化することができる。
特に、入力された観察と学習した部分空間の間のパート対応を確立することで、実験時の部分分解を利用して、劇的な動き列であっても、全ての部分の形状とポーズの堅牢な結合最適化を導出する。
複雑な変形物体の動きの深度配列の復元と追跡において、我々の部分認識形状とポーズ理解が最先端のパフォーマンスをもたらすことを示す実験を行った。
私たちはモデルをhttps://pablopalafox.github.io/spamsで公開する予定です。
関連論文リスト
- PhysPart: Physically Plausible Part Completion for Interactable Objects [28.91080122885566]
我々は、相互作用可能なオブジェクトに対する物理的に妥当な部分補完の問題に取り組む。
幾何学的条件付けを利用した拡散型部分生成モデルを提案する。
また、3Dプリンティング、ロボット操作、シーケンシャル部分生成にも応用しています。
論文 参考訳(メタデータ) (2024-08-25T04:56:09Z) - Implicit Modeling of Non-rigid Objects with Cross-Category Signals [28.956412015920936]
MODIFは、複数のオブジェクトに対する変形フィールドとインスタンス固有の潜時符号を同時に学習する多目的深い暗黙関数である。
我々は,MODIFが各臓器の形状表現と他臓器との関係を良好に学習できることを示す。
論文 参考訳(メタデータ) (2023-12-15T22:34:17Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳(メタデータ) (2023-08-18T16:41:57Z) - DTF-Net: Category-Level Pose Estimation and Shape Reconstruction via
Deformable Template Field [29.42222066097076]
RGB-Depth画像ペアから、オープンワールドシーンの6Dポーズの推定と3D形状の再構築は困難である。
本稿では,オブジェクトカテゴリの暗黙的ニューラルネットワークに基づくポーズ推定と形状再構成のための新しいフレームワークであるDTF-Netを提案する。
論文 参考訳(メタデータ) (2023-08-04T10:35:40Z) - Identity-Disentangled Neural Deformation Model for Dynamic Meshes [8.826835863410109]
我々は、暗黙の神経機能を用いたポーズ依存的な変形から、同一性によって引き起こされる形状変化を歪曲する神経変形モデルを学ぶ。
本稿では,大域的ポーズアライメントとニューラル変形モデルを統合する2つの手法を提案する。
また, 固定テンプレートの制約を伴わずにヤシの印刷や腱などの表面の細部を再構築する際に, 従来の骨格駆動モデルよりも優れていた。
論文 参考訳(メタデータ) (2021-09-30T17:43:06Z) - Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible
Neural Networks [118.20778308823779]
Invertible Neural Network (INN) を用いてプリミティブを定義する新しい3次元プリミティブ表現を提案する。
私たちのモデルは、部品レベルの監督なしに3Dオブジェクトを意味的に一貫した部品配置に解析することを学びます。
論文 参考訳(メタデータ) (2021-03-18T17:59:31Z) - Disentangling Geometric Deformation Spaces in Generative Latent Shape
Models [5.582957809895198]
3Dオブジェクトの完全な表現には、解釈可能な方法で変形の空間を特徴づける必要がある。
本研究では,物体形状の空間を剛性方向,非剛性ポーズ,内在的な形状に分解する3次元形状の不整合の事前生成モデルを改善する。
得られたモデルは生の3D形状からトレーニングできる。
論文 参考訳(メタデータ) (2021-02-27T06:54:31Z) - Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。
我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。
提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
論文 参考訳(メタデータ) (2020-11-30T06:01:49Z) - Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。
画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。
本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
論文 参考訳(メタデータ) (2020-08-18T20:30:47Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-08T02:26:19Z) - Monocular Human Pose and Shape Reconstruction using Part Differentiable
Rendering [53.16864661460889]
近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。
本稿では,ボディセグメンテーションを重要な監視対象として紹介する。
部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
論文 参考訳(メタデータ) (2020-03-24T14:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。