論文の概要: 4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras

• arxiv url: http://arxiv.org/abs/2002.12625v1
• Date: Fri, 28 Feb 2020 09:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 02:32:30.704206
• Title: 4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras
• Title（参考訳）: 複数のビデオカメラを用いたリアルタイム多人数モーションキャプチャのための4Dアソシエーショングラフ
• Authors: Yuxiang Zhang, Liang An, Tao Yu, Xiu Li, Kun Li, Yebin Liu
• Abstract要約: 本稿では,マルチビュー映像入力を用いた新しいリアルタイム多対人モーションキャプチャーアルゴリズムを提案する。 ビューパース、クロスビューマッチング、時間トラッキングを単一の最適化フレームワークに統合します。 提案手法はノイズ検出に頑健であり,高品質なオンラインポーズ復元品質を実現する。
• 参考スコア（独自算出の注目度）: 46.664422061537564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper contributes a novel realtime multi-person motion capture algorithm using multiview video inputs. Due to the heavy occlusions in each view, joint optimization on the multiview images and multiple temporal frames is indispensable, which brings up the essential challenge of realtime efficiency. To this end, for the first time, we unify per-view parsing, cross-view matching, and temporal tracking into a single optimization framework, i.e., a 4D association graph that each dimension (image space, viewpoint and time) can be treated equally and simultaneously. To solve the 4D association graph efficiently, we further contribute the idea of 4D limb bundle parsing based on heuristic searching, followed with limb bundle assembling by proposing a bundle Kruskal's algorithm. Our method enables a realtime online motion capture system running at 30fps using 5 cameras on a 5-person scene. Benefiting from the unified parsing, matching and tracking constraints, our method is robust to noisy detection, and achieves high-quality online pose reconstruction quality. The proposed method outperforms the state-of-the-art method quantitatively without using high-level appearance information. We also contribute a multiview video dataset synchronized with a marker-based motion capture system for scientific evaluation.
• Abstract（参考訳）: 本稿では,マルチビュー映像入力を用いたリアルタイムマルチパーソンモーションキャプチャアルゴリズムを提案する。 各ビューの重度の閉塞のため、マルチビュー画像と複数のテンポラルフレームの協調最適化は不可欠であり、リアルタイム効率に欠かせない課題となっている。 この目的のために,1つの最適化フレームワーク,すなわち,各次元(画像空間,視点,時間)を等しく同時に扱うことができる4次元アソシエーショングラフに,ビュー毎のパース,クロスビューマッチング,時間追跡を初めて統一する。 この4次元アソシエーショングラフを効率的に解くために, ヒューリスティック探索に基づく4次元辺縁束解析のアイデアと, バンドルkruskalのアルゴリズムの提案による辺縁束の組み立てを更に提案する。 本手法は,5人のシーンで5台のカメラを用いて,30fpsのリアルタイムオンラインモーションキャプチャシステムを実現する。 統合構文解析,マッチング,追跡の制約により,本手法はノイズ検出に頑健であり,高品質なオンラインポーズ復元品質を実現する。 提案手法は,高レベルの外観情報を用いることなく,最先端の手法を定量的に評価する。 また,マルチビュー映像データセットをマーカーベースのモーションキャプチャシステムと同期させて,科学的評価を行う。

関連論文リスト

• Fast Encoder-Based 3D from Casual Videos via Point Track Processing [22.563073026889324]
  そこで我々は,カジュアルビデオから3D構造とカメラの位置を動的コンテンツから推定できる学習ベースのTracksTo4Dを提案する。 TracksTo4Dは、カジュアルなビデオのデータセットに基づいて教師なしの方法で訓練される。 実験により、TracksTo4Dは、最先端の手法に匹敵する精度で、基礎となるビデオの時間点雲とカメラの位置を再構築できることが示された。
  論文  参考訳（メタデータ） (2024-04-10T15:37:00Z)
• STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians [36.83603109001298]
  STAG4Dは、事前訓練された拡散モデルと動的3次元ガウススプラッティングを組み合わせた、高忠実度4D生成のための新しいフレームワークである。 提案手法は, レンダリング品質, 時空間整合性, 生成ロバスト性において, 先行4次元生成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-22T04:16:33Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。 我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)
• Holoported Characters: Real-time Free-viewpoint Rendering of Humans from Sparse RGB Cameras [65.54875149514274]
  一般のアパレルにおいて,人間俳優の高度にリアルなフリー視点映像をレンダリングするための最初のアプローチを提案する。 提案手法は,動作中のアクターの4つのカメラビューと,各3次元骨格ポーズのみを必要とする。 広い服装の俳優を扱い、さらに細かなダイナミックディテールを再現する。
  論文  参考訳（メタデータ） (2023-12-12T16:45:52Z)
• Consistent4D: Consistent 360{\deg} Dynamic Object Generation from Monocular Video [15.621374353364468]
  Consistent4Dは、モノクロビデオから4D動的オブジェクトを生成するための新しいアプローチである。 我々は、360度ダイナミックオブジェクト再構成を4次元生成問題として、退屈なマルチビューデータ収集とカメラキャリブレーションの必要性を排除した。
  論文  参考訳（メタデータ） (2023-11-06T03:26:43Z)
• Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image [59.18564636990079]
  本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。 既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。 一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:53:50Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。