論文の概要: 3D Reconstruction of Interacting Multi-Person in Clothing from a Single Image

• arxiv url: http://arxiv.org/abs/2401.06415v2
• Date: Sun, 31 Mar 2024 05:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 14:25:45.414443
• Title: 3D Reconstruction of Interacting Multi-Person in Clothing from a Single Image
• Title（参考訳）: 単一画像からの対話型マルチパーソンの3次元再構築
• Authors: Junuk Cha, Hansol Lee, Jaewon Kim, Nhat Nguyen Bao Truong, Jae Shin Yoon, Seungryul Baek,
• Abstract要約: 本稿では,1つの画像からグローバルなコヒーレントなシーン空間上の衣服の多人数インタラクションの形状を再構築する,新しいパイプラインを提案する。 この課題を克服するために、人間の2つの先駆体を完全な3次元形状と表面接触に活用する。 その結果,本手法は既存の手法と比較して完全で,グローバルに一貫性があり,物理的に妥当であることがわかった。
• 参考スコア（独自算出の注目度）: 8.900009931200955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel pipeline to reconstruct the geometry of interacting multi-person in clothing on a globally coherent scene space from a single image. The main challenge arises from the occlusion: a part of a human body is not visible from a single view due to the occlusion by others or the self, which introduces missing geometry and physical implausibility (e.g., penetration). We overcome this challenge by utilizing two human priors for complete 3D geometry and surface contacts. For the geometry prior, an encoder learns to regress the image of a person with missing body parts to the latent vectors; a decoder decodes these vectors to produce 3D features of the associated geometry; and an implicit network combines these features with a surface normal map to reconstruct a complete and detailed 3D humans. For the contact prior, we develop an image-space contact detector that outputs a probability distribution of surface contacts between people in 3D. We use these priors to globally refine the body poses, enabling the penetration-free and accurate reconstruction of interacting multi-person in clothing on the scene space. The results demonstrate that our method is complete, globally coherent, and physically plausible compared to existing methods.
• Abstract（参考訳）: 本稿では,1つの画像からグローバルなコヒーレントなシーン空間上の衣服の多人数インタラクションの形状を再構築する,新しいパイプラインを提案する。 主な課題は、人体の一部が、他者や自己の隠蔽によって単一の視点から見えず、幾何学と身体的不確実性(例えば、浸透)が欠如していることである。 この課題を克服するために、人間の2つの先駆体を完全な3次元形状と表面接触に活用する。 事前に、エンコーダは、欠落した身体部分を持つ人のイメージを潜伏ベクトルに回帰させることを学び、デコーダはこれらのベクトルをデコードして関連する幾何学の3D特徴を生成し、暗黙のネットワークはこれらの特徴を表面正規写像と組み合わせて、完全で詳細な3D人間を再構築する。 本研究では,3次元の人物間の接触の確率分布を出力する画像空間接触検出器を開発した。 我々はこれらの先行技術を用いて、身体のポーズを世界規模で洗練し、シーン空間における多人数の対話を、無浸透で正確に再現することを可能にする。 その結果,本手法は既存の手法と比較して完全で,グローバルに一貫性があり,物理的に妥当であることがわかった。

関連論文リスト

• DressRecon: Freeform 4D Human Reconstruction from Monocular Video [64.61230035671885]
  本稿では,モノクラービデオから時間一貫性のある人体モデルを再構築する手法を提案する。 非常にゆるい衣服やハンドヘルドオブジェクトのインタラクションに重点を置いています。 DressReconは、先行技術よりも忠実度の高い3D再構築を実現している。
  論文  参考訳（メタデータ） (2024-09-30T17:59:15Z)
• Gaussian Control with Hierarchical Semantic Graphs in 3D Human Recovery [15.58274601909995]
  高忠実度3次元再構成を実現するための階層型人ガウス制御(HUGS)フレームワークを提案する。 我々のアプローチは、幾何学的トポロジーの整合性を確保するために、身体部分の明示的な意味的先行性を活用することである。 本手法は, 人体再建における優れた性能, 特に表面の細部を向上し, 体部接合部を正確に再構築する上での優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-21T03:40:56Z)
• Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer [58.98785899556135]
  本研究では,人間と物体の接触情報を効果的に活用する新しい関節型3次元物体再構成法(CONTHO)を提案する。 本システムには,1)3次元ガイドによる接触推定と,2)接触に基づく人間と物体の微細化の2つのコア設計がある。
  論文  参考訳（メタデータ） (2024-04-07T06:01:49Z)
• GALA: Generating Animatable Layered Assets from a Single Scan [20.310367593475508]
  GALAは, 単層布3次元メッシュを入力として, 完全な多層3次元アセットに分解するフレームワークである。 出力は、他の資産と組み合わせて、新しい人間のアバターを作ることができる。
  論文  参考訳（メタデータ） (2024-01-23T18:59:59Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency [41.89803177312638]
  本研究では,人体を再構築し,テクスチャ化された衣服を3次元モデルなしで層状に再現する,非教師付き分離型3D衣服と人体再構成モデルを提案する。 身近な多視点画像と身近な人物のジオメトリのマッピングを学習するための一般化した表面認識型ニューラルラジオアンス場を提案する。
  論文  参考訳（メタデータ） (2023-02-21T08:48:27Z)
• BodyMap: Learning Full-Body Dense Correspondence Map [19.13654133912062]
  BodyMapは,人体内画像と3Dテンプレートモデルの表面との間の高精細かつ連続的な対応関係を得るための新しいフレームワークである。 人間間の複雑な対応は、身体全体を理解するための基本的な問題を解決するために利用できる強力な意味情報を運ぶ。
  論文  参考訳（メタデータ） (2022-05-18T17:58:11Z)
• Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
  我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T18:59:02Z)
• Multi-person Implicit Reconstruction from a Single Image [37.6877421030774]
  本稿では,1つの画像から複数の人物の詳細な空間的コヒーレントな再構築を実現するための新しいエンドツーエンド学習フレームワークを提案する。 既存のマルチパーソンメソッドは、モデルベースで、ゆるい服と髪の人々の正確な3dモデルをキャプチャできないことが多いという、2つの大きな欠点を抱えている。
  論文  参考訳（メタデータ） (2021-04-19T13:21:55Z)
• AutoSweep: Recovering 3D Editable Objectsfrom a Single Photograph [54.701098964773756]
  セマンティックな部分で3Dオブジェクトを復元し、直接編集することを目的としている。 我々の研究は、一般化された立方体と一般化されたシリンダーという、2種類の原始的な形状の物体を回収する試みである。 提案アルゴリズムは,高品質な3Dモデルを復元し,既存手法のインスタンスセグメンテーションと3D再構成の両方で性能を向上する。
  論文  参考訳（メタデータ） (2020-05-27T12:16:24Z)
• Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from a Single RGB Image [102.44347847154867]
  プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。 我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。 ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
  論文  参考訳（メタデータ） (2020-04-02T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。