論文の概要: Self-Avatar Animation in Virtual Reality: Impact of Motion Signals Artifacts on the Full-Body Pose Reconstruction
- arxiv url: http://arxiv.org/abs/2404.18628v1
- Date: Mon, 29 Apr 2024 12:02:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 13:47:51.987909
- Title: Self-Avatar Animation in Virtual Reality: Impact of Motion Signals Artifacts on the Full-Body Pose Reconstruction
- Title（参考訳）: バーチャルリアリティにおける自己アバターアニメーション:フルボディポーズ再構成における動き信号アーティファクトの影響
- Authors: Antoine Maiorca, Seyed Abolfazl Ghasemzadeh, Thierry Ravet, François Cresson, Thierry Dutoit, Christophe De Vleeschouwer,
- Abstract要約: 本研究の目的は,自己アバターのフルボディポーズの再現に対する影響を計測することである。
テキストYOLOv8のポーズ推定から推定した3次元動画像と3次元動画像座標を用いて動画像再構成誤差を解析する。
- 参考スコア（独自算出の注目度）: 13.422686350235615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Virtual Reality (VR) applications have revolutionized user experiences by immersing individuals in interactive 3D environments. These environments find applications in numerous fields, including healthcare, education, or architecture. A significant aspect of VR is the inclusion of self-avatars, representing users within the virtual world, which enhances interaction and embodiment. However, generating lifelike full-body self-avatar animations remains challenging, particularly in consumer-grade VR systems, where lower-body tracking is often absent. One method to tackle this problem is by providing an external source of motion information that includes lower body information such as full Cartesian positions estimated from RGB(D) cameras. Nevertheless, the limitations of these systems are multiples: the desynchronization between the two motion sources and occlusions are examples of significant issues that hinder the implementations of such systems. In this paper, we aim to measure the impact on the reconstruction of the articulated self-avatar's full-body pose of (1) the latency between the VR motion features and estimated positions, (2) the data acquisition rate, (3) occlusions, and (4) the inaccuracy of the position estimation algorithm. In addition, we analyze the motion reconstruction errors using ground truth and 3D Cartesian coordinates estimated from \textit{YOLOv8} pose estimation. These analyzes show that the studied methods are significantly sensitive to any degradation tested, especially regarding the velocity reconstruction error.
- Abstract（参考訳）: VR(Virtual Reality)アプリケーションは、対話型3D環境に個人を没入させることによって、ユーザエクスペリエンスに革命をもたらした。
これらの環境は、医療、教育、建築など多くの分野で応用されている。
VRの重要な側面は、仮想世界におけるユーザを表現するセルフアバターの導入であり、インタラクションとエボディメントの強化である。
しかし、特に低ボディートラッキングが欠落するコンシューマレベルのVRシステムでは、ライフスタイルのフルボディの自己アバターアニメーションを生成することは依然として困難である。
この問題に対処する1つの方法は、RGB(D)カメラから推定されるフルカルト位置などの下半身情報を含む動き情報の外部ソースを提供することである。
二つの運動源とオクルージョンの非同期化は、そのようなシステムの実装を妨げる重要な問題の例である。
本稿では,(1)VRの動作特徴と推定位置の遅延,(2)データ取得率,(3)オクルージョン,(4)位置推定アルゴリズムの不正確さといった,明瞭な自己アバターのフルボディポーズの再構築に与える影響を計測することを目的とする。
さらに,<textit{YOLOv8} のポーズ推定から推定した3次元カルテシアン座標を用いた動き再構成誤差を解析した。
これらの分析結果から, 試験対象の劣化, 特に速度再構成誤差にはかなり敏感であることが示唆された。
関連論文リスト
- Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection [10.782354892545651]
我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。
動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。
本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
論文 参考訳（メタデータ） (2024-07-23T18:41:16Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - SparsePoser: Real-time Full-body Motion Reconstruction from Sparse Data [1.494051815405093]
SparsePoserは、スパースデータから全身のポーズを再構築するための、新しいディープラーニングベースのソリューションである。
このシステムには、高品質な連続した人間のポーズを合成する畳み込み型オートエンコーダが組み込まれている。
本手法は,IMUセンサや6-DoFトラッキングデバイスを用いた最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T18:48:01Z) - MOVIN: Real-time Motion Capture using a Single LiDAR [7.3228874258537875]
我々は,グローバルトラッキングを用いたリアルタイムモーションキャプチャのためのデータ駆動生成法MOVINを提案する。
本フレームワークは,パフォーマーの3次元グローバル情報と局所的な関節の詳細を正確に予測する。
実世界のシナリオでメソッドをデモするために,リアルタイムアプリケーションを実装した。
論文 参考訳（メタデータ） (2023-09-17T16:04:15Z) - GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。
GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。
運動と地面への距離変化との整合性を明確に促進するように訓練されている。
論文 参考訳（メタデータ） (2023-06-29T07:22:20Z) - Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。
マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-12-10T06:28:29Z) - HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。
年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。
アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
論文 参考訳（メタデータ） (2021-12-23T22:27:55Z) - Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。
人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。
様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
論文 参考訳（メタデータ） (2021-05-03T17:57:07Z) - UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。
まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。
次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
論文 参考訳（メタデータ） (2020-11-12T09:31:09Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z) - Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated
Convolution [34.301501457959056]
本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。
また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。
提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
論文 参考訳（メタデータ） (2020-10-31T04:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。