論文の概要: Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views

• arxiv url: http://arxiv.org/abs/2304.06024v2
• Date: Sat, 16 Sep 2023 13:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:21:06.356280
• Title: Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views
• Title（参考訳）: エゴセントリックな視点による3次元シーンにおける確率的ヒューマンメッシュ回復
• Authors: Siwei Zhang, Qianli Ma, Yan Zhang, Sadegh Aliakbarian, Darren Cosker, Siyu Tang
• Abstract要約: 身体のポーズ分布をモデル化するシーン条件拡散法を提案する。 この方法は、可塑性ヒトとシーンの相互作用において体を生成する。 目に見える関節の精度と、目に見えない身体の部分の多様性に優れる。
• 参考スコア（独自算出の注目度）: 32.940614931864154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic perception of human behaviors during social interactions is crucial for AR/VR applications, and an essential component is estimation of plausible 3D human pose and shape of our social partners from the egocentric view. One of the biggest challenges of this task is severe body truncation due to close social distances in egocentric scenarios, which brings large pose ambiguities for unseen body parts. To tackle this challenge, we propose a novel scene-conditioned diffusion method to model the body pose distribution. Conditioned on the 3D scene geometry, the diffusion model generates bodies in plausible human-scene interactions, with the sampling guided by a physics-based collision score to further resolve human-scene inter-penetrations. The classifier-free training enables flexible sampling with different conditions and enhanced diversity. A visibility-aware graph convolution model guided by per-joint visibility serves as the diffusion denoiser to incorporate inter-joint dependencies and per-body-part control. Extensive evaluations show that our method generates bodies in plausible interactions with 3D scenes, achieving both superior accuracy for visible joints and diversity for invisible body parts. The code is available at https://sanweiliti.github.io/egohmr/egohmr.html.
• Abstract（参考訳）: ソーシャルインタラクションにおける人間の行動の自動認識は、AR/VRアプリケーションにとって不可欠であり、エゴセントリックな視点から、社会的パートナーのもっともらしい3Dのポーズと形状を推定することが重要な要素である。 この作業の最大の課題の1つは、自発的なシナリオにおける社会的距離の密接さによる激しい身体切断であり、これは目に見えない身体の一部に対する大きなポーズの曖昧さをもたらす。 そこで本研究では,身体のポーズ分布をモデル化するシーン条件拡散法を提案する。 拡散モデルは,3次元シーン形状を条件に,人間とシーンの相互作用が妥当な物体を生成し,物理ベースの衝突スコアで導かれるサンプリングにより,人間とシーンの相互接続を更に解決する。 分類器なしの訓練は、異なる条件で柔軟なサンプリングと多様性の向上を可能にする。 可視性を考慮したグラフ畳み込みモデルでは, 関節間依存性と身体間制御を組み込む拡散デノイザとして機能する。 広汎な評価により,本手法は3次元シーンとのプラプティブルな相互作用の身体を生成し,可視関節の精度と見えない身体部位の多様性を両立させる。 コードはhttps://sanweiliti.github.io/egohmr/egohmr.htmlで入手できる。

関連論文リスト

• Human-Aware 3D Scene Generation with Spatially-constrained Diffusion Models [16.259040755335885]
  従来の自己回帰に基づく3Dシーン生成手法は、複数の物体と入力人間の関節分布を正確に捉えるのに苦労してきた。 本研究では,人間-物体衝突回避機構とオブジェクト-部屋境界制約という2つの空間衝突誘導機構を導入する。 我々のフレームワークは、人間とシーンのインタラクションを正確に行うことで、より自然でわかりやすい3Dシーンを生成することができる。
  論文  参考訳（メタデータ） (2024-06-26T08:18:39Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
  人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。 まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。 そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:23Z)
• Beyond the Contact: Discovering Comprehensive Affordance for 3D Objects from Pre-trained 2D Diffusion Models [8.933560282929726]
  我々はComprehensive Affordance(ComA)という新しい余裕表現を導入する。 3Dオブジェクトメッシュが与えられたとき、ComAは相互作用する人間のメッシュにおける相対配向と頂点の近接の分布をモデル化する。 ComAは、連絡先ベースの価格のモデリングにおいて、人間のアノテーションに依存している競争相手よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:59Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Learning Visibility for Robust Dense Human Body Estimation [78.37389398573882]
  2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。 部分的な観察に頑健な高密度な人体推定を学習する。 我々は、高密度UV通信から可視性ラベルの擬似基底構造を取得し、3次元座標とともに可視性を予測するニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-08-23T00:01:05Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。