論文の概要: Towards Unstructured Unlabeled Optical Mocap: A Video Helps!
- arxiv url: http://arxiv.org/abs/2407.06114v1
- Date: Wed, 15 May 2024 03:45:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 14:19:18.448117
- Title: Towards Unstructured Unlabeled Optical Mocap: A Video Helps!
- Title（参考訳）: 光学式モキャップの非構造化に向けて:ビデオが役に立つ!
- Authors: Nicholas Milef, John Keyser, Shu Kong,
- Abstract要約: 本稿では,マーカー識別,マーカーラベリング,ポーズ推定,人体再構築のための最適化パイプラインを提案する。
我々は、人間の身体のポーズと形状を強く視覚的に優先して、人間を再構築し、追跡するオフ・ザ・シェルフ手法を実行している。
提案手法は,全体および部分体再構築のための既存の3つのベンチマークデータセットにおいて,既存の手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 7.7149881834358345
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Optical motion capture (mocap) requires accurately reconstructing the human body from retroreflective markers, including pose and shape. In a typical mocap setting, marker labeling is an important but tedious and error-prone step. Previous work has shown that marker labeling can be automated by using a structured template defining specific marker placements, but this places additional recording constraints. We propose to relax these constraints and solve for Unstructured Unlabeled Optical (UUO) mocap. Compared to the typical mocap setting that either labels markers or places them w.r.t a structured layout, markers in UUO mocap can be placed anywhere on the body and even on one specific limb (e.g., right leg for biomechanics research), hence it is of more practical significance. It is also more challenging. To solve UUO mocap, we exploit a monocular video captured by a single RGB camera, which does not require camera calibration. On this video, we run an off-the-shelf method to reconstruct and track a human individual, giving strong visual priors of human body pose and shape. With both the video and UUO markers, we propose an optimization pipeline towards marker identification, marker labeling, human pose estimation, and human body reconstruction. Our technical novelties include multiple hypothesis testing to optimize global orientation, and marker localization and marker-part matching to better optimize for body surface. We conduct extensive experiments to quantitatively compare our method against state-of-the-art approaches, including marker-only mocap and video-only human body/shape reconstruction. Experiments demonstrate that our method resoundingly outperforms existing methods on three established benchmark datasets for both full-body and partial-body reconstruction.
- Abstract（参考訳）: 光モーションキャプチャ(mocap)は、ポーズや形状を含む反射的なマーカーから人体を正確に再構築する必要がある。
典型的なモキャップ設定では、マーカーのラベル付けは重要だが面倒でエラーを起こしやすいステップである。
これまでの研究では、特定のマーカー配置を定義する構造化テンプレートを使うことで、マーカーのラベル付けを自動化できることが示されている。
我々はこれらの制約を緩和し、Unstructured Unlabeled Optical (UUO) のモキャップを解くことを提案する。
典型的なモカプ設定では、マーカーをラベル付けするか、あるいは構造されたレイアウトで配置するが、UUOモカプのマーカーは1つの特定の手足(例えば、バイオメカニクス研究の右脚)のどこにでも配置できるため、より実用的な意味を持つ。
また、より困難である。
UUOモキャップを解決するために、カメラのキャリブレーションを必要としない単一のRGBカメラで撮影された単眼ビデオを利用する。
このビデオでは、人間を再構築し、追跡するオフザシェルフ手法を実行し、人間の身体のポーズと形状の強い視覚的優位性を与えました。
ビデオとUUOマーカーの両方を用いて、マーカー識別、マーカーラベリング、人間のポーズ推定、人体再構築のための最適化パイプラインを提案する。
我々の技術には、グローバルな配向を最適化するための複数の仮説テストと、体表面をより良く最適化するためのマーカーの局在化とマーカー部分マッチングが含まれる。
我々は,マーカーのみのモキャップやビデオのみの人体・形状再構成など,最先端の手法と定量的に比較するための広範囲な実験を行った。
実験により,本手法は,全体および部分体再構築のための3つの確立されたベンチマークデータセットにおいて,既存の手法よりも優れた性能を示すことが示された。
関連論文リスト
- Evaluating the evaluators: Towards human-aligned metrics for missing markers reconstruction [2.6997581911188857]
アニメーションデータは、複数のカメラを用いて光学マーカーの位置を確立する光学的モーションキャプチャシステムを通して取得されることが多い。
これは、マーカー再構成の欠如に対する機械学習ベースのソリューションへの関心を喚起した。
この分野の進展を推し進める、より相関性の高い指標のセットを導入し、評価する。
論文 参考訳（メタデータ） (2024-10-18T09:44:35Z) - OpenCap markerless motion capture estimation of lower extremity kinematics and dynamics in cycling [0.0]
マーカレスモーションキャプチャは、従来のマーカーベースのシステムよりもいくつかの利点がある。
システムは人体のランドマークを直接検出することができ、手作業による処理やマーカーの配置に伴うエラーを減らすことができる。
本研究では,マーカーレスモーションキャプチャシステムであるOpenCapと,サイクリングバイオメカニクス評価における従来のマーカーベースシステムとの比較を行った。
論文 参考訳（メタデータ） (2024-08-20T15:57:40Z) - ClearMark: Intuitive and Robust Model Watermarking via Transposed Model
Training [50.77001916246691]
本稿では,人間の直感的な評価を目的とした最初のDNN透かし手法であるClearMarkを紹介する。
ClearMarkは目に見える透かしを埋め込んで、厳格な値閾値なしで人間の意思決定を可能にする。
8,544ビットの透かし容量は、現存する最強の作品に匹敵する。
論文 参考訳（メタデータ） (2023-10-25T08:16:55Z) - Human Spine Motion Capture using Perforated Kinesiology Tape [26.114550071165628]
本稿では,スポーツにおける運動要求に合わせて,マーカーに基づく多視点スピントラッキング手法を提案する。
最大の焦点は、マーカーの正確な検出とシステムの迅速な利用である。
線形プログラムとマルコフ確率場による3次元の推論を行い、キネシロジーテープの構造をモデル化し、スピンの形状を最適化する。
論文 参考訳（メタデータ） (2023-06-05T14:48:30Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳（メタデータ） (2023-01-12T18:01:28Z) - CamoFormer: Masked Separable Attention for Camouflaged Object Detection [94.2870722866853]
カモフラージュされた物体検出のための単純なマスク付き分離型注意(MSA)を提案する。
まず,マルチヘッド・セルフアテンションを3つの部分に分割し,異なるマスキング戦略を用いて,背景からカモフラージュした物体を識別する役割を担っている。
提案手法では,MSAを用いた単純なトップダウンデコーダを用いて,高精度なセグメンテーション結果を得るために,高分解能なセグメンテーション表現を段階的にキャプチャする。
論文 参考訳（メタデータ） (2022-12-10T10:03:27Z) - SmartMocap: Joint Estimation of Human and Camera Motion using
Uncalibrated RGB Cameras [49.110201064166915]
複数のRGBカメラからのマーカーレス人間のモーションキャプチャ(モキャップ)は、広く研究されている問題である。
既存の方法は、モキャップシステムの基準フレームとして機能するスタティックカメラに対して、キャリブレーションされたカメラを必要とするか、あるいはそれらをキャリブレーションする必要がある。
複数の静止・移動可能なRGBカメラを用いたモキャップ方式を提案する。
論文 参考訳（メタデータ） (2022-09-28T08:21:04Z) - SOMA: Solving Optical Marker-Based MoCap Automatically [56.59083192247637]
我々はSOMAと呼ばれる新しいニューラルネットワークを訓練し、モカプポイントの雲をさまざまな数のポイントで取り、それらを大規模にラベル付けする。
Somaは、3Dボディの空間構造を学ぶために、自己注意要素を積み重ねたアーキテクチャを利用する。
4つのデータセットにまたがる8時間以上のアーカイブモキャップデータを自動的にラベル付けします。
論文 参考訳（メタデータ） (2021-10-09T02:27:27Z) - Capturing Detailed Deformations of Moving Human Bodies [12.209526373179516]
身体に1000点以上の特異点をサンプリングし,人間の詳細な動きをとらえる新しい方法を提案する。
システムの背後にある重要なアイデアは、チェッカーボードのようなコーナーと2文字のコードを持つ特別なパターンを含む新しいタイプのモーションキャプチャースーツである。
実験では、ヨガや体操、地面転がりなどの挑戦的な動きを含む、さまざまな人間のポーズを高精度にとらえることを示しました。
論文 参考訳（メタデータ） (2021-02-15T04:58:13Z) - Take an Emotion Walk: Perceiving Emotions from Gaits Using Hierarchical Attention Pooling and Affective Mapping [55.72376663488104]
本稿では、ビデオやモーションキャプチャーデータから得られた歩行スタイルから、知覚された人間の感情を分類するためのオートエンコーダに基づくアプローチを提案する。
3次元ポーズシーケンスから抽出した各ステップのポーズにおける各関節の動きを考慮し、これらの関節の動きをエンコーダに階層的にプールする。
我々はデコーダを訓練し、潜伏埋め込みからトップダウン方式で1ステップ当たりの関節の動きを再構築する。
論文 参考訳（メタデータ） (2019-11-20T05:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。