論文の概要: Joint Reconstruction of Spatially-Coherent and Realistic Clothed Humans and Objects from a Single Image
- arxiv url: http://arxiv.org/abs/2502.18150v1
- Date: Tue, 25 Feb 2025 12:26:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 17:42:46.055315
- Title: Joint Reconstruction of Spatially-Coherent and Realistic Clothed Humans and Objects from a Single Image
- Title（参考訳）: 空間的コヒーレントでリアルな衣服と物体の複合的再構成
- Authors: Ayushi Dutta, Marco Pesavento, Marco Volino, Adrian Hilton, Armin Mustafa,
- Abstract要約: 現実世界では、人間は他の物体と空間を共有します。
人間と物体で画像を再構成することは、3次元空間認識の欠如により困難である。
本稿では, 単視点画像から空間的コヒーレントな方法で, 衣服や物体を共同で再構築する。
- 参考スコア（独自算出の注目度）: 26.57698106821237
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Recent advances in human shape learning have focused on achieving accurate human reconstruction from single-view images. However, in the real world, humans share space with other objects. Reconstructing images with humans and objects is challenging due to the occlusions and lack of 3D spatial awareness, which leads to depth ambiguity in the reconstruction. Existing methods in monocular human-object reconstruction fail to capture intricate details of clothed human bodies and object surfaces due to their template-based nature. In this paper, we jointly reconstruct clothed humans and objects in a spatially coherent manner from single-view images, while addressing human-object occlusions. A novel attention-based neural implicit model is proposed that leverages image pixel alignment to retrieve high-quality details, and incorporates semantic features extracted from the human-object pose to enable 3D spatial awareness. A generative diffusion model is used to handle human-object occlusions. For training and evaluation, we introduce a synthetic dataset with rendered scenes of inter-occluded 3D human scans and diverse objects. Extensive evaluation on both synthetic and real datasets demonstrates the superior quality of proposed human-object reconstructions over competitive methods.
- Abstract（参考訳）: 近年の人体形状学習の進歩は、単視点画像からの正確な人体復元の実現に焦点が当てられている。
しかし、現実世界では、人間は他の物体と空間を共有している。
人間や物体による画像の再構成は、3次元空間認識の欠如により困難であり、再建の深さの曖昧さにつながる。
モノクローナルな人-物体再構成の既存の方法は、そのテンプレートに基づいた性質のため、人間の体と物体の表面の複雑な詳細をキャプチャできない。
本稿では,単視点画像から空間的コヒーレントな方法で,人間と物体を共同で再構築し,人・物体の閉塞に対処する。
画像画素アライメントを利用して高品質な細部を検索し,人間のポーズから抽出したセマンティックな特徴を取り入れ,三次元空間認識を実現する新しいアテンションベースニューラル暗黙モデルを提案する。
生成拡散モデルは、人-物体の閉塞を処理するために使用される。
トレーニングと評価のために,人間間3次元スキャンと多種多様な物体の描画シーンを用いた合成データセットを提案する。
合成データセットと実データセットの両方に対する広範囲な評価は、競合する手法よりも提案された人間オブジェクト再構成の優れた品質を示す。
関連論文リスト
- Single-image coherent reconstruction of objects and humans [16.836684199314938]
モノクル画像から物体や人間を再構成する既存の方法は、激しいメッシュ衝突と性能制限に悩まされている。
本稿では,1つの画像から対話対象と人物を相互に一貫した3次元再構成する手法を提案する。
論文 参考訳（メタデータ） (2024-08-15T11:27:18Z) - Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer [58.98785899556135]
本研究では,人間と物体の接触情報を効果的に活用する新しい関節型3次元物体再構成法(CONTHO)を提案する。
本システムには,1)3次元ガイドによる接触推定と,2)接触に基づく人間と物体の微細化の2つのコア設計がある。
論文 参考訳（メタデータ） (2024-04-07T06:01:49Z) - HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion [114.15397904945185]
本稿では,高リアリズムと多彩なレイアウトの人体画像を生成する統一的なフレームワークHyperHumanを提案する。
本モデルは,統合ネットワークにおける画像の外観,空間的関係,幾何学の連成学習を強制する。
我々のフレームワークは最先端の性能を生み出し、多様なシナリオ下で超現実的な人間の画像を生成する。
論文 参考訳（メタデータ） (2023-10-12T17:59:34Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳（メタデータ） (2022-12-20T19:50:54Z) - Reconstructing Action-Conditioned Human-Object Interactions Using
Commonsense Knowledge Priors [42.17542596399014]
本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。
提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。
本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
論文 参考訳（メタデータ） (2022-09-06T13:32:55Z) - CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。
2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。
提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
論文 参考訳（メタデータ） (2022-04-05T18:38:06Z) - Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。
私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。
シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2022-03-07T18:59:02Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2021-12-02T17:10:53Z) - Neural Free-Viewpoint Performance Rendering under Complex Human-object
Interactions [35.41116017268475]
没入型VR/AR体験と人間の活動理解には,人間と物体の相互作用の4次元再構築が不可欠である。
近年の進歩は、細かなRGB入力から細かな幾何学やテクスチャ結果の回復には至っていない。
本研究では,人間と物体の高画質なテクスチャとフォトリアリスティックなテクスチャを両立させるニューラル・ヒューマン・パフォーマンス・キャプチャー・レンダリングシステムを提案する。
論文 参考訳（メタデータ） (2021-08-01T04:53:54Z) - Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。
我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。
実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
論文 参考訳（メタデータ） (2021-06-25T13:32:23Z) - Multi-person Implicit Reconstruction from a Single Image [37.6877421030774]
本稿では,1つの画像から複数の人物の詳細な空間的コヒーレントな再構築を実現するための新しいエンドツーエンド学習フレームワークを提案する。
既存のマルチパーソンメソッドは、モデルベースで、ゆるい服と髪の人々の正確な3dモデルをキャプチャできないことが多いという、2つの大きな欠点を抱えている。
論文 参考訳（メタデータ） (2021-04-19T13:21:55Z) - Holistic 3D Human and Scene Mesh Estimation from Single View Images [5.100152971410397]
本稿では,1枚のRGB画像から3Dシーンを知覚するエンド・ツー・エンドのトレーニング可能なモデルを提案する。
本研究では,既存の人体メッシュ法や屋内シーン再構築法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-12-02T23:22:03Z) - Perceiving 3D Human-Object Spatial Arrangements from a Single Image in
the Wild [96.08358373137438]
本研究では,世界規模で一貫した3Dシーンにおいて,人間や物体の空間的配置や形状を推定する手法を提案する。
本手法は,シーンレベルやオブジェクトレベルの3D監視を必要とせず,データセット上で動作させる。
論文 参考訳（メタデータ） (2020-07-30T17:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。