論文の概要: NeMo: 3D Neural Motion Fields from Multiple Video Instances of the Same Action

• arxiv url: http://arxiv.org/abs/2212.13660v1
• Date: Wed, 28 Dec 2022 01:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 15:27:17.821749
• Title: NeMo: 3D Neural Motion Fields from Multiple Video Instances of the Same Action
• Title（参考訳）: NeMo: 同じアクションの複数のビデオインスタンスから得られる3次元神経運動場
• Authors: Kuan-Chieh Wang, Zhenzhen Weng, Maria Xenochristou, Joao Pedro Araujo, Jeffrey Gu, C. Karen Liu, Serena Yeung
• Abstract要約: ニューラルモーション(NeMo)フィールドを導入し、同じアクションの一連のビデオに対して基礎となる3Dモーションを表現する。 NeMoはPenn Actionデータセットの動画を使って、スポーツの3Dモーションを復元することができる。
• 参考スコア（独自算出の注目度）: 24.67958500694608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of reconstructing 3D human motion has wideranging applications. The gold standard Motion capture (MoCap) systems are accurate but inaccessible to the general public due to their cost, hardware and space constraints. In contrast, monocular human mesh recovery (HMR) methods are much more accessible than MoCap as they take single-view videos as inputs. Replacing the multi-view Mo- Cap systems with a monocular HMR method would break the current barriers to collecting accurate 3D motion thus making exciting applications like motion analysis and motiondriven animation accessible to the general public. However, performance of existing HMR methods degrade when the video contains challenging and dynamic motion that is not in existing MoCap datasets used for training. This reduces its appeal as dynamic motion is frequently the target in 3D motion recovery in the aforementioned applications. Our study aims to bridge the gap between monocular HMR and multi-view MoCap systems by leveraging information shared across multiple video instances of the same action. We introduce the Neural Motion (NeMo) field. It is optimized to represent the underlying 3D motions across a set of videos of the same action. Empirically, we show that NeMo can recover 3D motion in sports using videos from the Penn Action dataset, where NeMo outperforms existing HMR methods in terms of 2D keypoint detection. To further validate NeMo using 3D metrics, we collected a small MoCap dataset mimicking actions in Penn Action,and show that NeMo achieves better 3D reconstruction compared to various baselines.
• Abstract（参考訳）: 人間の3次元動作を再構築する作業は、より広範に応用されている。 金の標準モーションキャプチャ(MoCap)システムは正確だが、コスト、ハードウェア、空間の制約により一般大衆にはアクセスできない。 対照的に、モノクラーヒューマンメッシュリカバリ(HMR)メソッドは、シングルビュービデオを入力として扱うため、MoCapよりもはるかにアクセスしやすい。 モノクロHMR方式でマルチビューのMo-Capシステムをリプレースすることで、正確な3Dモーションを収集するための現在の障壁を壊し、モーション分析やモーションドリブンアニメーションといったエキサイティングな応用を一般大衆に届けることができる。 しかしながら、既存のHMRメソッドのパフォーマンスは、トレーニングに使用される既存のMoCapデータセットにはない、挑戦的でダイナミックな動きを含むと劣化する。 ダイナミックモーションは、前述のアプリケーションでしばしば3dモーションリカバリのターゲットとなるため、その魅力は低下する。 本研究の目的は、同一アクションの複数のビデオインスタンス間で共有される情報を活用することで、モノクラーHMRとマルチビューMoCapシステムのギャップを埋めることである。 ニューラルモーション(NeMo)の分野を紹介する。 同じアクションの一連のビデオで、基礎となる3Dモーションを表現するように最適化されている。 実験では,nemoが既存のhmr法を2次元キーポイント検出で上回るpenn actionデータセットのビデオを用いて,スポーツ中の3次元動作を復元できることを実証する。 さらに3Dメトリクスを用いてNeMoを検証するため,Penn Actionの動作を模倣する小さなMoCapデータセットを収集し,NeMoが様々なベースラインよりも優れた3D再構成を実現することを示す。

関連論文リスト

• MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
  我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。 私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:31:24Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• ViMo: Generating Motions from Casual Videos [34.19904765033005]
  ビデオから動画へ生成する新しいフレームワーク(ViMo)を提案する。 ViMoは、未完成のビデオコンテンツの膨大な量を生かして、多種多様な3Dモーションを作り出すことができる。 実験結果から、高速な動き、様々な視点、あるいは頻繁なオクルージョンが存在するビデオであっても、提案モデルが自然な動きを生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-13T03:57:35Z)
• Delving into Motion-Aware Matching for Monocular 3D Object Tracking [81.68608983602581]
  異なる時間軸に沿った物体の運動キューが3次元多物体追跡において重要であることが判明した。 3つの動き認識コンポーネントからなるフレームワークであるMoMA-M3Tを提案する。 我々はnuScenesとKITTIデータセットに関する広範な実験を行い、MoMA-M3Tが最先端の手法と競合する性能を発揮することを実証した。
  論文  参考訳（メタデータ） (2023-08-22T17:53:58Z)
• HMD-NeMo: Online 3D Avatar Motion Generation From Sparse Observations [7.096701481970196]
  ヘッドマウントデバイス(Head-Mounted Devices, HMD)は、通常、頭や手などの入力信号のみを提供する。 本研究は,手の一部しか見えなくても,可塑性かつ高精度な全身運動生成を実現する,最初の統一的アプローチであるHMD-NeMoを提案する。
  論文  参考訳（メタデータ） (2023-08-22T08:07:12Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Capturing Humans in Motion: Temporal-Attentive 3D Human Pose and Shape Estimation from Monocular Video [24.217269857183233]
  映像から3次元の人間のポーズと形状を推定するために,動作中の人間を捕捉する動きポーズと形状ネットワーク(MPS-Net)を提案する。 具体的には、まず、人間の動きから観察された視覚的手がかりを利用して、シーケンス内の注意を必要とする範囲を適応的に再調整する動き継続注意(MoCA)モジュールを提案する。 MoCAとHAFIモジュールを結合することにより、提案したMPS-Netは、ビデオ中の3D人間のポーズと形状を推定するのに優れている。
  論文  参考訳（メタデータ） (2022-03-16T11:00:24Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos [40.19723456533343]
  SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。 本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。 このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
  論文  参考訳（メタデータ） (2021-04-23T07:52:03Z)
• Motion Guided 3D Pose Estimation from Videos [81.14443206968444]
  本研究では,2次元ポーズから1次元の人物ポーズ推定を行う問題に対して,運動損失と呼ばれる新たな損失関数を提案する。 運動損失の計算では、ペアワイズ・モーション・エンコーディング(ペアワイズ・モーション・エンコーディング)と呼ばれる単純なキーポイント・モーションの表現が導入された。 UGCN(U-shaped GCN)と呼ばれる新しいグラフ畳み込みネットワークアーキテクチャを設計し,短期および長期の動作情報の両方をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-29T06:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。