論文の概要: Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views

• arxiv url: http://arxiv.org/abs/2304.06024v2
• Date: Sat, 16 Sep 2023 13:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:21:06.356280
• Title: Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views
• Title（参考訳）: エゴセントリックな視点による3次元シーンにおける確率的ヒューマンメッシュ回復
• Authors: Siwei Zhang, Qianli Ma, Yan Zhang, Sadegh Aliakbarian, Darren Cosker, Siyu Tang
• Abstract要約: 身体のポーズ分布をモデル化するシーン条件拡散法を提案する。 この方法は、可塑性ヒトとシーンの相互作用において体を生成する。 目に見える関節の精度と、目に見えない身体の部分の多様性に優れる。
• 参考スコア（独自算出の注目度）: 32.940614931864154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic perception of human behaviors during social interactions is crucial for AR/VR applications, and an essential component is estimation of plausible 3D human pose and shape of our social partners from the egocentric view. One of the biggest challenges of this task is severe body truncation due to close social distances in egocentric scenarios, which brings large pose ambiguities for unseen body parts. To tackle this challenge, we propose a novel scene-conditioned diffusion method to model the body pose distribution. Conditioned on the 3D scene geometry, the diffusion model generates bodies in plausible human-scene interactions, with the sampling guided by a physics-based collision score to further resolve human-scene inter-penetrations. The classifier-free training enables flexible sampling with different conditions and enhanced diversity. A visibility-aware graph convolution model guided by per-joint visibility serves as the diffusion denoiser to incorporate inter-joint dependencies and per-body-part control. Extensive evaluations show that our method generates bodies in plausible interactions with 3D scenes, achieving both superior accuracy for visible joints and diversity for invisible body parts. The code is available at https://sanweiliti.github.io/egohmr/egohmr.html.
• Abstract（参考訳）: ソーシャルインタラクションにおける人間の行動の自動認識は、AR/VRアプリケーションにとって不可欠であり、エゴセントリックな視点から、社会的パートナーのもっともらしい3Dのポーズと形状を推定することが重要な要素である。 この作業の最大の課題の1つは、自発的なシナリオにおける社会的距離の密接さによる激しい身体切断であり、これは目に見えない身体の一部に対する大きなポーズの曖昧さをもたらす。 そこで本研究では,身体のポーズ分布をモデル化するシーン条件拡散法を提案する。 拡散モデルは,3次元シーン形状を条件に,人間とシーンの相互作用が妥当な物体を生成し,物理ベースの衝突スコアで導かれるサンプリングにより,人間とシーンの相互接続を更に解決する。 分類器なしの訓練は、異なる条件で柔軟なサンプリングと多様性の向上を可能にする。 可視性を考慮したグラフ畳み込みモデルでは, 関節間依存性と身体間制御を組み込む拡散デノイザとして機能する。 広汎な評価により,本手法は3次元シーンとのプラプティブルな相互作用の身体を生成し,可視関節の精度と見えない身体部位の多様性を両立させる。 コードはhttps://sanweiliti.github.io/egohmr/egohmr.htmlで入手できる。

関連論文リスト

• Full-Body Articulated Human-Object Interaction [54.71257836792093]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Learning Visibility for Robust Dense Human Body Estimation [78.37389398573882]
  2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。 部分的な観察に頑健な高密度な人体推定を学習する。 我々は、高密度UV通信から可視性ラベルの擬似基底構造を取得し、3次元座標とともに可視性を予測するニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-08-23T00:01:05Z)
• Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation [33.86986028882488]
  咬合は, 咬合者の形状, 外観, 位置の変動が大きいため, 単眼多面体3次元ポーズ推定において大きな脅威となる。 既存のメソッドは、ポーズ先/制約、データ拡張、暗黙の推論でオクルージョンを処理しようとする。 本研究では、ボトムアップ型多人数ポーズ推定を大幅に改善する、このプロセスを明示的にモデル化する手法を開発した。
  論文  参考訳（メタデータ） (2022-07-29T22:12:50Z)
• HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance [82.09463058198546]
  シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。 シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:31Z)
• FLAG: Flow-based 3D Avatar Generation from Sparse Observations [4.847320494918927]
  スパース観測から3次元人体のフローベース生成モデルを構築した。 我々のアプローチは強い予測モデルであるだけでなく、異なる最適化設定でより効率的なポーズとして振る舞うことができることを示す。
  論文  参考訳（メタデータ） (2022-03-11T08:07:09Z)
• HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
  我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。 年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。 アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
  論文  参考訳（メタデータ） (2021-12-23T22:27:55Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks [33.974241749058585]
  マルチパーソンポーズ推定は、人間の検出が間違っている可能性があり、人間の結合群は信頼できない。 既存のトップダウン手法は人間の検出に依存しているため、これらの問題に悩まされる。 我々は,その強みを生かすために,トップダウンアプローチとボトムアップアプローチの統合を提案する。
  論文  参考訳（メタデータ） (2021-04-05T07:05:21Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。