論文の概要: 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface
- arxiv url: http://arxiv.org/abs/2105.01905v1
- Date: Wed, 5 May 2021 07:39:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-06 12:48:57.412159
- Title: 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface
- Title(参考訳): 4DComplete:観測可能な表面を超えた非デジタルモーション推定
- Authors: Yang Li, Hikari Takehara, Takafumi Taketomi, Bo Zheng, Matthias
Nie{\ss}ner
- Abstract要約: 観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。
ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
- 参考スコア(独自算出の注目度): 7.637832293935966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tracking non-rigidly deforming scenes using range sensors has numerous
applications including computer vision, AR/VR, and robotics. However, due to
occlusions and physical limitations of range sensors, existing methods only
handle the visible surface, thus causing discontinuities and incompleteness in
the motion field. To this end, we introduce 4DComplete, a novel data-driven
approach that estimates the non-rigid motion for the unobserved geometry.
4DComplete takes as input a partial shape and motion observation, extracts 4D
time-space embedding, and jointly infers the missing geometry and motion field
using a sparse fully-convolutional network. For network training, we
constructed a large-scale synthetic dataset called DeformingThings4D, which
consists of 1972 animation sequences spanning 31 different animals or humanoid
categories with dense 4D annotation. Experiments show that 4DComplete 1)
reconstructs high-resolution volumetric shape and motion field from a partial
observation, 2) learns an entangled 4D feature representation that benefits
both shape and motion estimation, 3) yields more accurate and natural
deformation than classic non-rigid priors such as As-Rigid-As-Possible (ARAP)
deformation, and 4) generalizes well to unseen objects in real-world sequences.
- Abstract(参考訳): レンジセンサーによる厳密な変形シーンの追跡には、コンピュータビジョン、AR/VR、ロボット工学など多くの応用がある。
しかし、オクルージョンや距離センサの物理的制限のため、既存の方法は可視面のみを扱うため、運動場の不連続や不完全性を引き起こす。
この目的のために,観測されていない幾何学の非剛性運動を推定する新しいデータ駆動手法である4DCompleteを導入する。
4dcomplete は部分的な形状と動きの観察を入力とし、4次元の時間空間埋め込みを抽出し、スパース完全畳み込みネットワークを用いて、失われた幾何学と動き場を共同で推定する。
ネットワークトレーニングのために、DeformingThings4Dと呼ばれる大規模な合成データセットを構築しました。
実験の結果, 4DComplete 1) は部分観察から高分解能な体積形状と運動場を再構成し, 2) 形状と運動推定の両方の利点を享受する絡み合った4D特徴表現を学習し, 3) 従来の非剛性物体である As-Rigid-As-Possible (ARAP) の変形よりも正確で自然な変形を生じ, 4) は実世界における未知の物体によく一般化した。
関連論文リスト
- Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape
Reconstruction and Tracking [13.250523514249176]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。
グローバルな潜在子ではなく、潜在子ベクトル集合で4Dダイナミクスをパラメータ化する。
より時間的コヒーレントなオブジェクト追跡のために、変形潜在集合を同期的に識別し、複数のフレーム間で情報を交換する。
論文 参考訳(メタデータ) (2024-01-12T15:05:08Z) - Real-time Photorealistic Dynamic Scene Representation and Rendering with
4D Gaussian Splatting [8.078460597825142]
2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。
本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。
我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
論文 参考訳(メタデータ) (2023-10-16T17:57:43Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Hi4D: 4D Instance Segmentation of Close Human Interaction [32.51930800738743]
Hi4Dは、20の被験者ペア、100のシーケンス、合計11Kフレームからなる4Dテクスチャスキャンのデータセットである。
このデータセットには、2Dと3Dのリッチなインタラクション中心アノテーションと、正確に登録されたパラメトリックボディモデルが含まれている。
論文 参考訳(メタデータ) (2023-03-27T16:53:09Z) - LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human
Modeling [69.56581851211841]
そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。
私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。
LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-08-18T03:49:44Z) - Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。
提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。
我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
論文 参考訳(メタデータ) (2022-06-16T17:59:54Z) - H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。
単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。
本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
論文 参考訳(メタデータ) (2022-03-02T17:10:49Z) - Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。
我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。
第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
論文 参考訳(メタデータ) (2021-12-03T18:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。