論文の概要: Combining Neural Fields and Deformation Models for Non-Rigid 3D Motion Reconstruction from Partial Data

• arxiv url: http://arxiv.org/abs/2412.08511v1
• Date: Wed, 11 Dec 2024 16:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:02:10.389101
• Title: Combining Neural Fields and Deformation Models for Non-Rigid 3D Motion Reconstruction from Partial Data
• Title（参考訳）: 部分データからの非線形3次元運動再構成のためのニューラルネットワークと変形モデルの組み合わせ
• Authors: Aymen Merrouche, Stefanie Wuhrer, Edmond Boyer,
• Abstract要約: 本研究では,非剛性変形形状の非構造観察から時間的コヒーレントな3次元運動を再構成するための,新しいデータ駆動型アプローチを提案する。 我々のゴールは、ゆるい服を着ている人間など、ほぼ等尺変形する形状の高忠実な動き再構成を実現することである。 本手法は, モノクローナルディープビデオから再構成したヒトおよび動物の動き系列に適用することにより, 最先端のアプローチよりも優れる。
• 参考スコア（独自算出の注目度）: 7.327850781641328
• License:
• Abstract: We introduce a novel, data-driven approach for reconstructing temporally coherent 3D motion from unstructured and potentially partial observations of non-rigidly deforming shapes. Our goal is to achieve high-fidelity motion reconstructions for shapes that undergo near-isometric deformations, such as humans wearing loose clothing. The key novelty of our work lies in its ability to combine implicit shape representations with explicit mesh-based deformation models, enabling detailed and temporally coherent motion reconstructions without relying on parametric shape models or decoupling shape and motion. Each frame is represented as a neural field decoded from a feature space where observations over time are fused, hence preserving geometric details present in the input data. Temporal coherence is enforced with a near-isometric deformation constraint between adjacent frames that applies to the underlying surface in the neural field. Our method outperforms state-of-the-art approaches, as demonstrated by its application to human and animal motion sequences reconstructed from monocular depth videos.
• Abstract（参考訳）: 本研究では,非剛性変形形状の非構造的および潜在的部分的な観察から時間的コヒーレントな3次元運動を再構成するための,新しいデータ駆動型アプローチを提案する。 我々のゴールは、ゆるい服を着ている人間など、ほぼ等尺変形する形状の高忠実な動き再構成を実現することである。 我々の研究の重要な特徴は、暗黙の形状表現と明示的なメッシュベースの変形モデルを組み合わせることで、パラメトリック形状モデルやデカップリング形状や動きに頼ることなく、詳細かつ時間的に整合した動き再構成を可能にすることである。 各フレームは、時間経過観察が融合した特徴空間からデコードされたニューラルネットワークとして表現され、したがって入力データに存在する幾何学的詳細を保存する。 時間的コヒーレンスは、ニューラルネットワークの基底面に適用される隣接フレーム間のほぼ等尺的な変形制約で強制される。 本手法は, モノクローナルディープビデオから再構成したヒトおよび動物の動き系列に適用することにより, 最先端のアプローチよりも優れる。

関連論文リスト

• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• Dynamic Point Fields [30.029872787758705]
  本稿では,明示的な点ベースグラフィックスの表現的利点と暗黙的な変形ネットワークを組み合わせた動的点場モデルを提案する。 我々は,その表現力,学習効率,および配布外小説のポーズに対する堅牢性の観点から,我々の動的点場フレームワークの利点を示す。
  論文  参考訳（メタデータ） (2023-04-05T17:52:37Z)
• Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion [1.7205106391379026]
  本研究では,NRSfM(non-rigid structure-from-motion)と深部生成モデルを組み合わせた手法を提案する。 本稿では,3次元形状の変化に対応する2次元GANの潜在空間における軌跡の発見に有効なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-14T08:37:55Z)
• Animatable Implicit Neural Representations for Creating Realistic Avatars from Videos [63.16888987770885]
  本稿では,マルチビュー映像からアニマタブルな人間モデルを構築することの課題について述べる。 線形ブレンドスキンアルゴリズムに基づくポーズ駆動変形場を提案する。 提案手法は,近年の人体モデリング手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:56:59Z)
• SPAMs: Structured Implicit Parametric Models [30.19414242608965]
  本研究では,非剛体物体の動きを形状とポーズの部分的不整合表現に構造的に分解する変形可能なオブジェクト表現として,構造化単純パラメトリックモデル(SPAM)を学習する。 複雑な変形物体の動きの深度配列の復元と追跡において、我々の部分認識形状とポーズ理解が最先端のパフォーマンスに繋がることを示す実験を行った。
  論文  参考訳（メタデータ） (2022-01-20T12:33:46Z)
• Identity-Disentangled Neural Deformation Model for Dynamic Meshes [8.826835863410109]
  我々は、暗黙の神経機能を用いたポーズ依存的な変形から、同一性によって引き起こされる形状変化を歪曲する神経変形モデルを学ぶ。 本稿では,大域的ポーズアライメントとニューラル変形モデルを統合する2つの手法を提案する。 また, 固定テンプレートの制約を伴わずにヤシの印刷や腱などの表面の細部を再構築する際に, 従来の骨格駆動モデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-09-30T17:43:06Z)
• NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One Go [109.88509362837475]
  入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。 NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。 異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-06-17T12:25:44Z)
• Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
  Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-06-15T09:15:54Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。