論文の概要: 4DRecons: 4D Neural Implicit Deformable Objects Reconstruction from a single RGB-D Camera with Geometrical and Topological Regularizations

• arxiv url: http://arxiv.org/abs/2406.10167v1
• Date: Fri, 14 Jun 2024 16:38:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 12:46:51.832938
• Title: 4DRecons: 4D Neural Implicit Deformable Objects Reconstruction from a single RGB-D Camera with Geometrical and Topological Regularizations
• Title（参考訳）: 4DRecons:幾何学的およびトポロジカル規則化による1台のRGB-Dカメラからの4Dニューラルインプリシト変形物体の再構成
• Authors: Xiaoyan Cong, Haitao Yang, Liyan Chen, Kaifeng Zhang, Li Yi, Chandrajit Bajaj, Qixing Huang,
• Abstract要約: 4DReconsは出力を4Dの暗黙の表面としてエンコードする。 4DReconsは大きな変形や複雑な部品間相互作用を処理可能であることを示す。
• 参考スコア（独自算出の注目度）: 35.161541396566705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel approach 4DRecons that takes a single camera RGB-D sequence of a dynamic subject as input and outputs a complete textured deforming 3D model over time. 4DRecons encodes the output as a 4D neural implicit surface and presents an optimization procedure that combines a data term and two regularization terms. The data term fits the 4D implicit surface to the input partial observations. We address fundamental challenges in fitting a complete implicit surface to partial observations. The first regularization term enforces that the deformation among adjacent frames is as rigid as possible (ARAP). To this end, we introduce a novel approach to compute correspondences between adjacent textured implicit surfaces, which are used to define the ARAP regularization term. The second regularization term enforces that the topology of the underlying object remains fixed over time. This regularization is critical for avoiding self-intersections that are typical in implicit-based reconstructions. We have evaluated the performance of 4DRecons on a variety of datasets. Experimental results show that 4DRecons can handle large deformations and complex inter-part interactions and outperform state-of-the-art approaches considerably.
• Abstract（参考訳）: 本稿では,動的対象の1台のカメラRGB-Dシークエンスを入力とし,時間とともに完全にテクスチャ化された3Dモデルを出力する4DReconsを提案する。 4DReconsは出力を4Dニューラル暗黙曲面としてエンコードし、データ項と2つの正規化項を組み合わせた最適化手順を示す。 データ項は入力された部分的な観察に4Dの暗黙の面に適合する。 部分的な観察に完全に暗黙の面を合わせるという根本的な課題に対処する。 最初の正規化項は、隣接するフレーム間の変形は可能な限り硬い(ARAP)ことを強制する。 そこで本研究では,ARAP正規化項を定義するために,隣接したテクスチャ付き暗黙曲面間の対応を計算するための新しい手法を提案する。 第2の正規化項は、基礎となる対象の位相が時間とともに固定されることを強制する。 この正規化は、暗黙的な再構築に典型的な自己切断を避けるために重要である。 各種データセット上での4DReconsの性能評価を行った。 実験結果から, 4DReconsは大きな変形や複雑な部品間相互作用を処理でき, 最先端のアプローチよりもかなり優れていることがわかった。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human Modeling [69.56581851211841]
  そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。 私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。 LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-08-18T03:49:44Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface [7.637832293935966]
  観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。 ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
  論文  参考訳（メタデータ） (2021-05-05T07:39:12Z)
• Learning Parallel Dense Correspondence from Spatio-Temporal Descriptors for Efficient and Robust 4D Reconstruction [43.60322886598972]
  本稿では,点雲列からの4次元形状再構成の課題に焦点をあてる。 本稿では,クロスフレーム占有領域間の連続的変換関数を捉えることにより,人間の3次元形状の時間変化を学ぶための新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-03-30T13:36:03Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。