論文の概要: Capturing Detailed Deformations of Moving Human Bodies

• arxiv url: http://arxiv.org/abs/2102.07343v1
• Date: Mon, 15 Feb 2021 04:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 21:19:02.158780
• Title: Capturing Detailed Deformations of Moving Human Bodies
• Title（参考訳）: 動く人体の詳細な変形を捉え
• Authors: He Chen, Hyojoon Park, Kutay Macit, Ladislav Kavan
• Abstract要約: 身体に1000点以上の特異点をサンプリングし,人間の詳細な動きをとらえる新しい方法を提案する。 システムの背後にある重要なアイデアは、チェッカーボードのようなコーナーと2文字のコードを持つ特別なパターンを含む新しいタイプのモーションキャプチャースーツである。 実験では、ヨガや体操、地面転がりなどの挑戦的な動きを含む、さまざまな人間のポーズを高精度にとらえることを示しました。
• 参考スコア（独自算出の注目度）: 12.209526373179516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new method to capture detailed human motion, sampling more than 1000 unique points on the body. Our method outputs highly accurate 4D (spatio-temporal) point coordinates and, crucially, automatically assigns a unique label to each of the points. The locations and unique labels of the points are inferred from individual 2D input images only, without relying on temporal tracking or any human body shape or skeletal kinematics models. Therefore, our captured point trajectories contain all of the details from the input images, including motion due to breathing, muscle contractions and flesh deformation, and are well suited to be used as training data to fit advanced models of the human body and its motion. The key idea behind our system is a new type of motion capture suit which contains a special pattern with checkerboard-like corners and two-letter codes. The images from our multi-camera system are processed by a sequence of neural networks which are trained to localize the corners and recognize the codes, while being robust to suit stretching and self-occlusions of the body. Our system relies only on standard RGB or monochrome sensors and fully passive lighting and the passive suit, making our method easy to replicate, deploy and use. Our experiments demonstrate highly accurate captures of a wide variety of human poses, including challenging motions such as yoga, gymnastics, or rolling on the ground.
• Abstract（参考訳）: 身体に1000点以上の特異点をサンプリングし,人間の詳細な動きをとらえる新しい方法を提案する。 本手法は,高精度な4d(spatio-temporal)点座標を出力し,各点に対して一意なラベルを自動的に割り当てる。 点の位置とユニークなラベルは、時間追跡や人体形状や骨格運動学モデルに依存することなく、個々の2D入力画像からのみ推定されます。 したがって, 捕獲された点軌跡には, 呼吸による運動, 筋収縮, 肉の変形など, 入力画像からのすべての詳細情報が含まれており, 人体とその運動の高度なモデルに適合する訓練データとして好適である。 システムの背後にある重要なアイデアは、チェッカーボードのようなコーナーと2文字のコードを持つ特別なパターンを含む新しいタイプのモーションキャプチャースーツである。 私たちのマルチカメラシステムからの画像は、コーナーをローカライズし、コードを認識するように訓練されたニューラルネットワークのシーケンスによって処理されます。 当社のシステムは、標準的なRGBまたはモノクロセンサーと完全に受動的な照明とパッシブスーツのみに依存しているため、複製、展開、使用が容易です。 実験では、ヨガや体操、地面転がりなどの挑戦的な動きを含む、さまざまな人間のポーズを高精度にとらえることを示しました。

関連論文リスト

• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• VINECS: Video-based Neural Character Skinning [82.39776643541383]
  ポーズ依存のスキン重みを持つ完全リップ文字を作成するための完全自動アプローチを提案する。 提案手法は高密度4Dスキャンに頼らず,最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-03T08:35:53Z)
• Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
  静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。 コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。 特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
  論文  参考訳（メタデータ） (2023-01-12T18:01:28Z)
• Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
  本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。 提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T03:09:20Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)
• Depth-Aware Action Recognition: Pose-Motion Encoding through Temporal Heatmaps [2.2079886535603084]
  動作分類のための統一表現において、ポーズ情報と動き情報を符号化する深度認識記述子を提案する。 本手法の鍵となる要素は,人体の意味的キーポイントの3次元移動を符号化した新しいビデオ記述子,DA-PoTionである。
  論文  参考訳（メタデータ） (2020-11-26T17:26:42Z)
• UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
  本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。 まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。 次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
  論文  参考訳（メタデータ） (2020-11-12T09:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。