論文の概要: ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References

• arxiv url: http://arxiv.org/abs/2103.06747v1
• Date: Thu, 11 Mar 2021 15:49:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 14:43:31.836958
• Title: ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References
• Title（参考訳）: ChallenCap: マルチモーダル参照を用いた人間的パフォーマンスの単眼3Dキャプチャ
• Authors: Yannan He, Anqi Pang, Xin Chen, Han Liang, Minye Wu, Yuexin Ma, Lan Xu
• Abstract要約: 今回提案するChallenCapは、単一のRGBカメラで難しい3D人間の動きをキャプチャするテンプレートベースのアプローチです。 我々は,マルチモーダル参照を用いた新しい学習・最適化フレームワークを採用する。 我々の新しい挑戦運動データセットの実験は、挑戦する人間の動きを捉えるアプローチの有効性と堅牢性を示している。
• 参考スコア（独自算出の注目度）: 18.327101908143113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capturing challenging human motions is critical for numerous applications, but it suffers from complex motion patterns and severe self-occlusion under the monocular setting. In this paper, we propose ChallenCap -- a template-based approach to capture challenging 3D human motions using a single RGB camera in a novel learning-and-optimization framework, with the aid of multi-modal references. We propose a hybrid motion inference stage with a generation network, which utilizes a temporal encoder-decoder to extract the motion details from the pair-wise sparse-view reference, as well as a motion discriminator to utilize the unpaired marker-based references to extract specific challenging motion characteristics in a data-driven manner. We further adopt a robust motion optimization stage to increase the tracking accuracy, by jointly utilizing the learned motion details from the supervised multi-modal references as well as the reliable motion hints from the input image reference. Extensive experiments on our new challenging motion dataset demonstrate the effectiveness and robustness of our approach to capture challenging human motions.
• Abstract（参考訳）: 挑戦的な人間の動きを捉えることは、多くの応用に不可欠であるが、複雑な動きパターンや、単眼環境下での激しい自己隔離に苦しむ。 本論文では,マルチモーダルレファレンスを用いて,単一のRGBカメラを用いた3Dヒューマンモーションを新しい学習・最適化フレームワークでキャプチャするテンプレートベースのアプローチであるChallenCapを提案する。 時間的エンコーダデコーダを用いてペアワイズスパースビュー参照から動作詳細を抽出するジェネレーションネットワークを備えたハイブリッドモーション推論ステージと、無対のマーカーベースの参照を利用して、データ駆動方式で特定の挑戦的な動作特性を抽出するモーション識別装置を提案する。 さらに、教師付きマルチモーダル参照からの学習された動き詳細と入力画像参照からの信頼できる動きヒントを併用し、トラッキング精度を向上させるためのロバストな動き最適化ステージを採用する。 我々の新しい挑戦運動データセットに関する大規模な実験は、挑戦する人間の動きを捉えるアプローチの有効性と堅牢性を示している。

関連論文リスト

• Exploring Vision Transformers for 3D Human Motion-Language Models with Motion Patches [12.221087476416056]
  動き系列の新しい表現である「動きパッチ」を導入し、移動学習を通して視覚変換器(ViT)をモーションエンコーダとして用いることを提案する。 これらの動きパッチは、運動配列に基づく骨格関節の分割と分類によって作成され、様々な骨格構造に対して堅牢である。 2次元画像データを用いたトレーニングにより得られたViTの事前学習による伝達学習により,動作解析の性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-05-08T02:42:27Z)
• MOVIN: Real-time Motion Capture using a Single LiDAR [7.3228874258537875]
  我々は,グローバルトラッキングを用いたリアルタイムモーションキャプチャのためのデータ駆動生成法MOVINを提案する。 本フレームワークは,パフォーマーの3次元グローバル情報と局所的な関節の詳細を正確に予測する。 実世界のシナリオでメソッドをデモするために,リアルタイムアプリケーションを実装した。
  論文  参考訳（メタデータ） (2023-09-17T16:04:15Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video [16.32910684198013]
  本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。 具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。 以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
  論文  参考訳（メタデータ） (2023-03-15T09:29:03Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• Multi-Scale Control Signal-Aware Transformer for Motion Synthesis without Phase [72.01862340497314]
  マルチスケール制御信号認識変換器(MCS-T)を提案する。 MCS-Tは補助情報を用いてメソッドが生成した動作に匹敵する動作をうまく生成できる。
  論文  参考訳（メタデータ） (2023-03-03T02:56:44Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance [83.25826307000717]
  単一の動き赤画像から詳細な動きを復元する際の課題について検討する。 既存の解法では、各領域の運動のあいまいさを考慮せずに単一の画像列を推定する。 本稿では、このような動きのあいまいさを明示的に説明し、複数の可算解をシャープな詳細で生成することができる。
  論文  参考訳（メタデータ） (2022-07-20T18:05:53Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos [40.19723456533343]
  SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。 本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。 このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
  論文  参考訳（メタデータ） (2021-04-23T07:52:03Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。