論文の概要: Motion Capture from Internet Videos

• arxiv url: http://arxiv.org/abs/2008.07931v2
• Date: Wed, 19 Aug 2020 02:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 21:38:50.310572
• Title: Motion Capture from Internet Videos
• Title（参考訳）: インターネット動画からのモーションキャプチャ
• Authors: Junting Dong, Qing Shuai, Yuanqing Zhang, Xian Liu, Xiaowei Zhou, Hujun Bao
• Abstract要約: 画像に基づく人間のポーズ推定の最近の進歩により、単一のRGBビデオから3Dの人間の動きを捉えることができる。 マルチビュービデオは一般的ではないが、特定のアクションを行う有名人のビデオはインターネット上で多く見られる。 本稿では,新しい最適化フレームワークを提案し,複数のビデオからより正確かつ詳細な動きを復元する能力を実験的に実証する。
• 参考スコア（独自算出の注目度）: 47.943209721329474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in image-based human pose estimation make it possible to capture 3D human motion from a single RGB video. However, the inherent depth ambiguity and self-occlusion in a single view prohibit the recovery of as high-quality motion as multi-view reconstruction. While multi-view videos are not common, the videos of a celebrity performing a specific action are usually abundant on the Internet. Even if these videos were recorded at different time instances, they would encode the same motion characteristics of the person. Therefore, we propose to capture human motion by jointly analyzing these Internet videos instead of using single videos separately. However, this new task poses many new challenges that cannot be addressed by existing methods, as the videos are unsynchronized, the camera viewpoints are unknown, the background scenes are different, and the human motions are not exactly the same among videos. To address these challenges, we propose a novel optimization-based framework and experimentally demonstrate its ability to recover much more precise and detailed motion from multiple videos, compared against monocular motion capture methods.
• Abstract（参考訳）: 画像に基づく人間のポーズ推定の最近の進歩により、単一のrgbビデオから3d人間の動きをキャプチャできる。 しかし、単一の視点における内在的な奥行きあいまいさと自己完結性は、マルチビューの再構築と同じくらいの高品質な動きの回復を禁止している。 マルチビュービデオは一般的ではないが、特定のアクションを行う有名人のビデオはインターネット上で多く見られる。 これらのビデオが異なる時間帯に記録されたとしても、同じ動き特性を符号化する。 そこで本研究では,単一の動画を別々に使用するのではなく,これらインターネット動画を共同分析することで,人間の動きを捉えることを提案する。 しかし、この新たな課題は、ビデオが非同期化され、カメラの視点が不明であり、背景のシーンが異なり、人間の動きがビデオと全く同じではないため、既存の方法で対処できない多くの新しい課題をもたらす。 これらの課題に対処するために,新しい最適化ベースフレームワークを提案し,単眼モーションキャプチャ法と比較して,複数のビデオからより高精度で詳細な動きを復元する能力について実験的に実証する。

関連論文リスト

• Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
  Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
  論文  参考訳（メタデータ） (2024-10-14T17:46:32Z)
• ViMo: Generating Motions from Casual Videos [34.19904765033005]
  ビデオから動画へ生成する新しいフレームワーク(ViMo)を提案する。 ViMoは、未完成のビデオコンテンツの膨大な量を生かして、多種多様な3Dモーションを作り出すことができる。 実験結果から、高速な動き、様々な視点、あるいは頻繁なオクルージョンが存在するビデオであっても、提案モデルが自然な動きを生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-13T03:57:35Z)
• Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
  長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。 本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
  論文  参考訳（メタデータ） (2023-04-24T17:59:52Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video [44.58519508310171]
  我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。 提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
  論文  参考訳（メタデータ） (2022-01-11T18:51:21Z)
• Do as we do: Multiple Person Video-To-Video Transfer [0.0]
  ポーズを中間表現として用いたマルチ対人ビデオ転送のためのマーカーレス手法を提案する。 複数の人が踊ったりワークアウトしたりするソースビデオが与えられると、この方法はすべての俳優の体の動きを別のビデオ内の新しい俳優群に転送する。 本手法は,床に触れた足や被写体の相対位置など,対象映像の特定の特徴を保ちながら,身体運動を対象映像に説得的に伝達することができる。
  論文  参考訳（メタデータ） (2021-04-10T09:26:31Z)
• Layered Neural Rendering for Retiming People in Video [108.85428504808318]
  そこで本研究では,通常の自然ビデオで人々をリタイピングする手法を提案する。 異なる動きを時間的に調整したり、特定の動作の速度を変更したり、選択した人々をビデオから完全に「排除」したりできます。 このモデルの主な特徴は、入力ビデオ中の各人物の直接の動きを分離するだけでなく、各人物が生成するシーンの変化と自動的に関連付けることである。
  論文  参考訳（メタデータ） (2020-09-16T17:48:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。