論文の概要: Learning Human Mesh Recovery in 3D Scenes
- arxiv url: http://arxiv.org/abs/2306.03847v1
- Date: Tue, 6 Jun 2023 16:35:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 14:26:58.747828
- Title: Learning Human Mesh Recovery in 3D Scenes
- Title(参考訳): 3dシーンでのヒューマンメッシュリカバリの学習
- Authors: Zehong Shen, Zhi Cen, Sida Peng, Qing Shuai, Hujun Bao, Xiaowei Zhou
- Abstract要約: 本研究では,人間の絶対的なポーズと形状を1枚の画像から再現する新しい手法を提案する。
そこで本研究では,まず,スパース3D CNNによる絶対位置と密接なシーン接触を推定し,得られた3Dシーンキューとの交差注意により,事前学習した人間の回復ネットワークを強化することを提案する。
実験により,提案したネットワークは,1つの前方通過によって正確かつ物理的に証明可能なメッシュを復元し,精度と速度の両面で最先端の手法より優れていることを示す。
- 参考スコア(独自算出の注目度): 44.42000118386335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel method for recovering the absolute pose and shape of a
human in a pre-scanned scene given a single image. Unlike previous methods that
perform sceneaware mesh optimization, we propose to first estimate absolute
position and dense scene contacts with a sparse 3D CNN, and later enhance a
pretrained human mesh recovery network by cross-attention with the derived 3D
scene cues. Joint learning on images and scene geometry enables our method to
reduce the ambiguity caused by depth and occlusion, resulting in more
reasonable global postures and contacts. Encoding scene-aware cues in the
network also allows the proposed method to be optimization-free, and opens up
the opportunity for real-time applications. The experiments show that the
proposed network is capable of recovering accurate and physically-plausible
meshes by a single forward pass and outperforms state-of-the-art methods in
terms of both accuracy and speed.
- Abstract(参考訳): 本研究では,人間の絶対的なポーズと形状を1枚の画像から再現する新しい手法を提案する。
シーンアウェアメッシュ最適化を行う従来の手法と異なり、まずスパース3d cnnと絶対位置と密接なシーン接触を推定し、その後、導出した3dシーンキューとのクロスアテンションにより、事前訓練されたヒューマンメッシュリカバリネットワークを強化する。
画像とシーン形状の連成学習により,奥行きや閉塞によるあいまいさを低減し,より合理的な姿勢と接触を実現することができる。
ネットワーク内でシーン対応のヒントをエンコーディングすることで、提案手法を最適化フリーにすることも可能となり、リアルタイムアプリケーションへの機会が開放される。
実験により,提案したネットワークは,1つの前方通過によって正確かつ物理的に証明可能なメッシュを復元し,精度と速度の両面で最先端の手法より優れていることを示す。
関連論文リスト
- Kinematics-based 3D Human-Object Interaction Reconstruction from Single View [10.684643503514849]
既存の方法は、単に身体のポーズを単に屋内データセットのネットワークトレーニングに依存するだけである。
本研究では,人体の関節を人体接触領域へ正確に駆動するキネマティクスに基づく手法を提案する。
論文 参考訳(メタデータ) (2024-07-19T05:44:35Z) - Cross-Dimensional Refined Learning for Real-Time 3D Visual Perception
from Monocular Video [2.2299983745857896]
本稿では3次元シーンの幾何学的構造と意味的ラベルを協調的に知覚する新しいリアルタイム能動的学習法を提案する。
本稿では,3次元メッシュと3次元セマンティックラベリングの両方をリアルタイムに抽出する,エンドツーエンドのクロスディメンテーションニューラルネットワーク(CDRNet)を提案する。
論文 参考訳(メタデータ) (2023-03-16T11:53:29Z) - Scene-aware Egocentric 3D Human Pose Estimation [72.57527706631964]
頭部に1台の魚眼カメラを装着したエゴセントリックな3Dポーズ推定は、仮想現実や拡張現実における多くの応用により、近年注目を集めている。
既存の方法はまだ、人間の体が非常に隠蔽されている、あるいはシーンと密接な相互作用がある、挑戦的なポーズに苦慮している。
本研究では,シーン制約による自己中心型ポーズの予測を導くシーン認識型自己中心型ポーズ推定手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T21:35:39Z) - H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。
我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。
暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
論文 参考訳(メタデータ) (2021-07-26T23:04:18Z) - Riggable 3D Face Reconstruction via In-Network Optimization [58.016067611038046]
本稿では,単眼画像からの3次元顔再構成法を提案する。
表情、ポーズ、照明を含む画像ごとのパーソナライズされた顔リグとパラメータを共同で推定する。
実験により,SOTA復元精度,ロバスト性,一般化能力が得られた。
論文 参考訳(メタデータ) (2021-04-08T03:53:20Z) - Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。
各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
論文 参考訳(メタデータ) (2021-01-06T13:15:21Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳(メタデータ) (2020-10-26T15:31:52Z) - Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks [31.083072922977568]
本稿では,再構成した3Dメッシュを用いて顔合成に必要な光の流れを学習するワンショット顔再現法を提案する。
非対称なオートエンコーダである顔の動きを学習する動きネットを提案する。
提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-08-18T07:41:40Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳(メタデータ) (2020-08-16T13:38:41Z) - Exploiting Semantics for Face Image Deblurring [121.44928934662063]
本稿では,深層畳み込みニューラルネットワークによる意味的手がかりを利用して,効果的かつ効率的な顔分解アルゴリズムを提案する。
顔のセマンティックラベルを入力先として組み込んで,顔の局所構造を正規化するための適応的構造損失を提案する。
提案手法は、より正確な顔の特徴と細部を持つシャープ画像を復元する。
論文 参考訳(メタデータ) (2020-01-19T13:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。