論文の概要: Joint Reconstruction of Spatially-Coherent and Realistic Clothed Humans and Objects from a Single Image

• arxiv url: http://arxiv.org/abs/2502.18150v1
• Date: Tue, 25 Feb 2025 12:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:22:13.421121
• Title: Joint Reconstruction of Spatially-Coherent and Realistic Clothed Humans and Objects from a Single Image
• Title（参考訳）: 空間的コヒーレントでリアルな衣服と物体の複合的再構成
• Authors: Ayushi Dutta, Marco Pesavento, Marco Volino, Adrian Hilton, Armin Mustafa,
• Abstract要約: 現実世界では、人間は他の物体と空間を共有します。 人間と物体で画像を再構成することは、3次元空間認識の欠如により困難である。 本稿では, 単視点画像から空間的コヒーレントな方法で, 衣服や物体を共同で再構築する。
• 参考スコア（独自算出の注目度）: 26.57698106821237
• License:
• Abstract: Recent advances in human shape learning have focused on achieving accurate human reconstruction from single-view images. However, in the real world, humans share space with other objects. Reconstructing images with humans and objects is challenging due to the occlusions and lack of 3D spatial awareness, which leads to depth ambiguity in the reconstruction. Existing methods in monocular human-object reconstruction fail to capture intricate details of clothed human bodies and object surfaces due to their template-based nature. In this paper, we jointly reconstruct clothed humans and objects in a spatially coherent manner from single-view images, while addressing human-object occlusions. A novel attention-based neural implicit model is proposed that leverages image pixel alignment to retrieve high-quality details, and incorporates semantic features extracted from the human-object pose to enable 3D spatial awareness. A generative diffusion model is used to handle human-object occlusions. For training and evaluation, we introduce a synthetic dataset with rendered scenes of inter-occluded 3D human scans and diverse objects. Extensive evaluation on both synthetic and real datasets demonstrates the superior quality of proposed human-object reconstructions over competitive methods.
• Abstract（参考訳）: 近年の人体形状学習の進歩は、単視点画像からの正確な人体復元の実現に焦点が当てられている。 しかし、現実世界では、人間は他の物体と空間を共有している。 人間や物体による画像の再構成は、3次元空間認識の欠如により困難であり、再建の深さの曖昧さにつながる。 モノクローナルな人-物体再構成の既存の方法は、そのテンプレートに基づいた性質のため、人間の体と物体の表面の複雑な詳細をキャプチャできない。 本稿では,単視点画像から空間的コヒーレントな方法で,人間と物体を共同で再構築し,人・物体の閉塞に対処する。 画像画素アライメントを利用して高品質な細部を検索し,人間のポーズから抽出したセマンティックな特徴を取り入れ,三次元空間認識を実現する新しいアテンションベースニューラル暗黙モデルを提案する。 生成拡散モデルは、人-物体の閉塞を処理するために使用される。 トレーニングと評価のために,人間間3次元スキャンと多種多様な物体の描画シーンを用いた合成データセットを提案する。 合成データセットと実データセットの両方に対する広範囲な評価は、競合する手法よりも提案された人間オブジェクト再構成の優れた品質を示す。

関連論文リスト

• Single-image coherent reconstruction of objects and humans [16.836684199314938]
  モノクル画像から物体や人間を再構成する既存の方法は、激しいメッシュ衝突と性能制限に悩まされている。 本稿では,1つの画像から対話対象と人物を相互に一貫した3次元再構成する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:27:18Z)
• Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer [58.98785899556135]
  本研究では,人間と物体の接触情報を効果的に活用する新しい関節型3次元物体再構成法(CONTHO)を提案する。 本システムには,1)3次元ガイドによる接触推定と,2)接触に基づく人間と物体の微細化の2つのコア設計がある。
  論文  参考訳（メタデータ） (2024-04-07T06:01:49Z)
• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion [114.15397904945185]
  本稿では,高リアリズムと多彩なレイアウトの人体画像を生成する統一的なフレームワークHyperHumanを提案する。 本モデルは,統合ネットワークにおける画像の外観,空間的関係,幾何学の連成学習を強制する。 我々のフレームワークは最先端の性能を生み出し、多様なシナリオ下で超現実的な人間の画像を生成する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:34Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Neural Free-Viewpoint Performance Rendering under Complex Human-object Interactions [35.41116017268475]
  没入型VR/AR体験と人間の活動理解には,人間と物体の相互作用の4次元再構築が不可欠である。 近年の進歩は、細かなRGB入力から細かな幾何学やテクスチャ結果の回復には至っていない。 本研究では,人間と物体の高画質なテクスチャとフォトリアリスティックなテクスチャを両立させるニューラル・ヒューマン・パフォーマンス・キャプチャー・レンダリングシステムを提案する。
  論文  参考訳（メタデータ） (2021-08-01T04:53:54Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Multi-person Implicit Reconstruction from a Single Image [37.6877421030774]
  本稿では,1つの画像から複数の人物の詳細な空間的コヒーレントな再構築を実現するための新しいエンドツーエンド学習フレームワークを提案する。 既存のマルチパーソンメソッドは、モデルベースで、ゆるい服と髪の人々の正確な3dモデルをキャプチャできないことが多いという、2つの大きな欠点を抱えている。
  論文  参考訳（メタデータ） (2021-04-19T13:21:55Z)
• StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision [54.920605385622274]
  本研究では,立体視の幾何学的制約をPIFuの暗黙的関数表現と統合し,人間の3次元形状を復元するStereoPIFuを提案する。 従来の作品と比較すると, ステレオピフは衣服によるヒト再建のロバスト性, 完全性, 正確性が著しく向上した。
  論文  参考訳（メタデータ） (2021-04-12T08:41:54Z)
• Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild [96.08358373137438]
  本研究では,世界規模で一貫した3Dシーンにおいて,人間や物体の空間的配置や形状を推定する手法を提案する。 本手法は,シーンレベルやオブジェクトレベルの3D監視を必要とせず,データセット上で動作させる。
  論文  参考訳（メタデータ） (2020-07-30T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。