論文の概要: 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface

• arxiv url: http://arxiv.org/abs/2105.01905v1
• Date: Wed, 5 May 2021 07:39:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:48:57.412159
• Title: 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface
• Title（参考訳）: 4DComplete:観測可能な表面を超えた非デジタルモーション推定
• Authors: Yang Li, Hikari Takehara, Takafumi Taketomi, Bo Zheng, Matthias Nie{\ss}ner
• Abstract要約: 観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。 ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
• 参考スコア（独自算出の注目度）: 7.637832293935966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tracking non-rigidly deforming scenes using range sensors has numerous applications including computer vision, AR/VR, and robotics. However, due to occlusions and physical limitations of range sensors, existing methods only handle the visible surface, thus causing discontinuities and incompleteness in the motion field. To this end, we introduce 4DComplete, a novel data-driven approach that estimates the non-rigid motion for the unobserved geometry. 4DComplete takes as input a partial shape and motion observation, extracts 4D time-space embedding, and jointly infers the missing geometry and motion field using a sparse fully-convolutional network. For network training, we constructed a large-scale synthetic dataset called DeformingThings4D, which consists of 1972 animation sequences spanning 31 different animals or humanoid categories with dense 4D annotation. Experiments show that 4DComplete 1) reconstructs high-resolution volumetric shape and motion field from a partial observation, 2) learns an entangled 4D feature representation that benefits both shape and motion estimation, 3) yields more accurate and natural deformation than classic non-rigid priors such as As-Rigid-As-Possible (ARAP) deformation, and 4) generalizes well to unseen objects in real-world sequences.
• Abstract（参考訳）: レンジセンサーによる厳密な変形シーンの追跡には、コンピュータビジョン、AR/VR、ロボット工学など多くの応用がある。 しかし、オクルージョンや距離センサの物理的制限のため、既存の方法は可視面のみを扱うため、運動場の不連続や不完全性を引き起こす。 この目的のために,観測されていない幾何学の非剛性運動を推定する新しいデータ駆動手法である4DCompleteを導入する。 4dcomplete は部分的な形状と動きの観察を入力とし、4次元の時間空間埋め込みを抽出し、スパース完全畳み込みネットワークを用いて、失われた幾何学と動き場を共同で推定する。 ネットワークトレーニングのために、DeformingThings4Dと呼ばれる大規模な合成データセットを構築しました。 実験の結果, 4DComplete 1) は部分観察から高分解能な体積形状と運動場を再構成し, 2) 形状と運動推定の両方の利点を享受する絡み合った4D特徴表現を学習し, 3) 従来の非剛性物体である As-Rigid-As-Possible (ARAP) の変形よりも正確で自然な変形を生じ, 4) は実世界における未知の物体によく一般化した。

関連論文リスト

• S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
  本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。 この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。 従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
  論文  参考訳（メタデータ） (2024-08-23T12:51:49Z)
• 4DRecons: 4D Neural Implicit Deformable Objects Reconstruction from a single RGB-D Camera with Geometrical and Topological Regularizations [35.161541396566705]
  4DReconsは出力を4Dの暗黙の表面としてエンコードする。 4DReconsは大きな変形や複雑な部品間相互作用を処理可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-14T16:38:00Z)
• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
  高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。 ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。 提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
  論文  参考訳（メタデータ） (2024-05-26T17:47:34Z)
• MagicPose4D: Crafting Articulated Models with Appearance and Motion Control [17.161695123524563]
  我々は4次元世代における外観と動きの制御を洗練するための新しいフレームワークであるMagicPose4Dを提案する。 従来の方法とは異なり、MagicPose4Dはモーションプロンプトとして単眼ビデオを受け入れ、正確でカスタマイズ可能なモーション生成を可能にする。 我々はMagicPose4Dが4Dコンテンツ生成の精度と一貫性を著しく向上し、様々なベンチマークで既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-22T21:51:01Z)
• SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
  動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。 我々の手法は、品質と効率の両面で既存の手法を超越している。 動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
  論文  参考訳（メタデータ） (2024-04-04T18:05:18Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human Modeling [69.56581851211841]
  そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。 私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。 LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-08-18T03:49:44Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
  この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。 単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。 本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-02T17:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。