Fugu-MT 論文翻訳(概要): Monocular Human-Object Reconstruction in the Wild

論文の概要: Monocular Human-Object Reconstruction in the Wild

arxiv url: http://arxiv.org/abs/2407.20566v2
Date: Wed, 31 Jul 2024 08:45:19 GMT
ステータス: 処理完了
システム内更新日: 2024-08-01 11:58:12.702939
Title: Monocular Human-Object Reconstruction in the Wild
Title（参考訳）: 野生における単眼の物体再構成
Authors: Chaofan Huo, Ye Shi, Jingya Wang,
Abstract要約: 本研究では,野生の2次元画像から3次元対象空間関係を学習する2次元教師付き手法を提案する。本手法では,フローベースニューラルネットワークを用いて,データセットの各画像に対する2次元人間オブジェクトのキーポイントレイアウトとビューポートの事前分布を学習する。
参考スコア（独自算出の注目度）: 11.261465071559163
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning the prior knowledge of the 3D human-object spatial relation is crucial for reconstructing human-object interaction from images and understanding how humans interact with objects in 3D space. Previous works learn this prior from datasets collected in controlled environments, but due to the diversity of domains, they struggle to generalize to real-world scenarios. To overcome this limitation, we present a 2D-supervised method that learns the 3D human-object spatial relation prior purely from 2D images in the wild. Our method utilizes a flow-based neural network to learn the prior distribution of the 2D human-object keypoint layout and viewports for each image in the dataset. The effectiveness of the prior learned from 2D images is demonstrated on the human-object reconstruction task by applying the prior to tune the relative pose between the human and the object during the post-optimization stage. To validate and benchmark our method on in-the-wild images, we collect the WildHOI dataset from the YouTube website, which consists of various interactions with 8 objects in real-world scenarios. We conduct the experiments on the indoor BEHAVE dataset and the outdoor WildHOI dataset. The results show that our method achieves almost comparable performance with fully 3D supervised methods on the BEHAVE dataset, even if we have only utilized the 2D layout information, and outperforms previous methods in terms of generality and interaction diversity on in-the-wild images.
Abstract（参考訳）: 画像から人間と物体の相互作用を再構築し、人間が3次元空間内の物体とどのように相互作用するかを理解するためには、3次元物体空間関係の事前知識の習得が不可欠である。以前の研究では、制御された環境で収集されたデータセットから、事前にこれを学習していましたが、ドメインの多様性のため、現実のシナリオへの一般化に苦労しています。この制限を克服するため,野生の2次元画像から3次元対象空間関係を学習する2次元教師付き手法を提案する。本手法では,フローベースニューラルネットワークを用いて,データセットの各画像に対する2次元人間オブジェクトのキーポイントレイアウトとビューポートの事前分布を学習する。 2次元画像から先行学習した2次元画像の有効性は、人・物体間の相対的なポーズを調整するための事前調整を行うことにより、人・物体再構成作業において実証される。 In-the-wildイメージに対する我々の手法の検証とベンチマークを行うため、実世界のシナリオにおいて8つのオブジェクトとのさまざまなインタラクションからなるWildHOIデータセットをYouTubeのWebサイトから収集した。本研究では,屋内BEHAVEデータセットと屋外WildHOIデータセットを用いて実験を行った。提案手法は,2次元レイアウト情報しか利用していない場合でも,BEHAVEデータセット上で完全な3次元教師付き手法を用いてほぼ同等の性能を達成し,ワイド画像における一般性やインタラクションの多様性の観点から,従来の手法よりも優れていることを示す。

関連論文リスト

StackFLOW: Monocular Human-Object Reconstruction by Stacked Normalizing Flow with Offset [56.71580976007712]
本研究では,人間のメッシュと物体メッシュの表面から密にサンプリングされたアンカー間の人物体オフセットを用いて,人物体空間関係を表現することを提案する。この表現に基づいて、画像から人・物間の空間関係の後方分布を推定するスタック正規化フロー(StackFLOW)を提案する。最適化段階では、サンプルの可能性を最大化することにより、人体ポーズと物体6Dポーズを微調整する。
論文参考訳（メタデータ） (2024-07-30T04:57:21Z)
Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文参考訳（メタデータ） (2024-06-17T07:43:53Z)
Towards Precise 3D Human Pose Estimation with Multi-Perspective Spatial-Temporal Relational Transformers [28.38686299271394]
人間のポーズ検出のための3次元シーケンス・ツー・シーケンス(seq2seq)フレームワークを提案する。まず、空間モジュールは人物のポーズ特徴を画像内コンテンツで表現し、フレーム・イメージ関係モジュールは時間的関係を抽出する。提案手法は,一般的な3次元ポーズ検出データセットであるHuman3.6Mを用いて評価する。
論文参考訳（メタデータ） (2024-01-30T03:00:25Z)
Cross-view and Cross-pose Completion for 3D Human Understanding [22.787947086152315]
画像のみを用いて人間中心のデータを扱う自己教師付き学習に基づく事前学習手法を提案する。身体中心タスクのためのモデルと手中心タスクのためのモデルを事前訓練する。汎用的なトランスフォーマーアーキテクチャでは、これらのモデルは、広範囲の人間中心の下流タスクにおいて、既存の自己教師付き事前学習方法より優れている。
論文参考訳（メタデータ） (2023-11-15T16:51:18Z)
CHORUS: Learning Canonicalized 3D Human-Object Spatial Relations from Unbounded Synthesized Images [10.4286198282079]
本研究では,3次元における多種多様な物体間相互作用の空間的共通感覚を理解し,モデル化する手法を提案する。我々は、人間が同じ種類の物体と対話するとき、異なる視点から撮影した複数の2D画像を示す。実画像よりも画質が不完全であるにもかかわらず、合成画像は3次元的対象空間関係を学習するのに十分であることを示す。
論文参考訳（メタデータ） (2023-08-23T17:59:11Z)
Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
論文参考訳（メタデータ） (2022-09-06T13:32:55Z)
RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文参考訳（メタデータ） (2022-05-14T05:35:35Z)
NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文参考訳（メタデータ） (2022-03-20T09:02:13Z)
RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:56:12Z)
Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
論文参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。