Fugu-MT 論文翻訳(概要): Reconstructing Three-Dimensional Models of Interacting Humans

論文の概要: Reconstructing Three-Dimensional Models of Interacting Humans

arxiv url: http://arxiv.org/abs/2308.01854v1
Date: Thu, 3 Aug 2023 16:20:33 GMT
ステータス: 処理完了
システム内更新日: 2023-08-04 13:30:26.936522
Title: Reconstructing Three-Dimensional Models of Interacting Humans
Title（参考訳）: 相互作用する人間の3次元モデルの構築
Authors: Mihai Fieraru, Mihai Zanfir, Elisabeta Oneata, Alin-Ionut Popa, Vlad Olaru, Cristian Sminchisescu
Abstract要約: CHI3Dは、正確な3Dモーションキャプチャーデータセットで、631のシーケンスに2525ドルの接触イベントを含む。 FlickrCI3Dは、11,216ドルの画像のデータセットで、14,081ドルの処理と81,233ドルの顔レベルの対応がある。
参考スコア（独自算出の注目度）: 38.26269716290761
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Understanding 3d human interactions is fundamental for fine-grained scene analysis and behavioural modeling. However, most of the existing models predict incorrect, lifeless 3d estimates, that miss the subtle human contact aspects--the essence of the event--and are of little use for detailed behavioral understanding. This paper addresses such issues with several contributions: (1) we introduce models for interaction signature estimation (ISP) encompassing contact detection, segmentation, and 3d contact signature prediction; (2) we show how such components can be leveraged to ensure contact consistency during 3d reconstruction; (3) we construct several large datasets for learning and evaluating 3d contact prediction and reconstruction methods; specifically, we introduce CHI3D, a lab-based accurate 3d motion capture dataset with 631 sequences containing $2,525$ contact events, $728,664$ ground truth 3d poses, as well as FlickrCI3D, a dataset of $11,216$ images, with $14,081$ processed pairs of people, and $81,233$ facet-level surface correspondences. Finally, (4) we propose methodology for recovering the ground-truth pose and shape of interacting people in a controlled setup and (5) annotate all 3d interaction motions in CHI3D with textual descriptions. Motion data in multiple formats (GHUM and SMPLX parameters, Human3.6m 3d joints) is made available for research purposes at \url{https://ci3d.imar.ro}, together with an evaluation server and a public benchmark.
Abstract（参考訳）: 人間の3次元インタラクションを理解することは、きめ細かいシーン分析と行動モデリングに不可欠である。しかし、既存のモデルのほとんどは、微妙な人間の接触面を見逃している不正確で無命な3d推定を予測しています。 This paper addresses such issues with several contributions: (1) we introduce models for interaction signature estimation (ISP) encompassing contact detection, segmentation, and 3d contact signature prediction; (2) we show how such components can be leveraged to ensure contact consistency during 3d reconstruction; (3) we construct several large datasets for learning and evaluating 3d contact prediction and reconstruction methods; specifically, we introduce CHI3D, a lab-based accurate 3d motion capture dataset with 631 sequences containing $2,525$ contact events, $728,664$ ground truth 3d poses, as well as FlickrCI3D, a dataset of $11,216$ images, with $14,081$ processed pairs of people, and $81,233$ facet-level surface correspondences. 最後に, 制御された環境下での対話行動の実態と形状を復元する手法を提案し, 5) テキスト記述によるCHI3Dの3次元対話動作に注釈を付ける。複数のフォーマット(GHUM と SMPLX パラメータ、Human3.6m 3d 関節)のモーションデータは、評価サーバと公開ベンチマークとともに、研究目的で利用可能である。

関連論文リスト

Towards Precise 3D Human Pose Estimation with Multi-Perspective Spatial-Temporal Relational Transformers [28.38686299271394]
人間のポーズ検出のための3次元シーケンス・ツー・シーケンス(seq2seq)フレームワークを提案する。まず、空間モジュールは人物のポーズ特徴を画像内コンテンツで表現し、フレーム・イメージ関係モジュールは時間的関係を抽出する。提案手法は,一般的な3次元ポーズ検出データセットであるHuman3.6Mを用いて評価する。
論文参考訳（メタデータ） (2024-01-30T03:00:25Z)
Ins-HOI: Instance Aware Human-Object Interactions Recovery [44.02128629239429]
本稿では,エンド・ツー・エンドのインスタンス・アウェアなヒューマン・オブジェクト・インタラクション・リカバリ(Ins-HOI)フレームワークを提案する。 Ins-HOIはインスタンスレベルの再構築をサポートし、合理的で現実的な接触面を提供する。我々は、現実世界の人間-椅子と手-物体の相互作用を伴う5.2kの高品質スキャンを含む、大規模で高忠実な3Dスキャンデータセットを収集します。
論文参考訳（メタデータ） (2023-12-15T09:30:47Z)
Hi4D: 4D Instance Segmentation of Close Human Interaction [32.51930800738743]
Hi4Dは、20の被験者ペア、100のシーケンス、合計11Kフレームからなる4Dテクスチャスキャンのデータセットである。このデータセットには、2Dと3Dのリッチなインタラクション中心アノテーションと、正確に登録されたパラメトリックボディモデルが含まれている。
論文参考訳（メタデータ） (2023-03-27T16:53:09Z)
Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文参考訳（メタデータ） (2022-12-20T19:50:54Z)
Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
論文参考訳（メタデータ） (2022-09-06T13:32:55Z)
BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文参考訳（メタデータ） (2022-04-14T13:21:19Z)
Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文参考訳（メタデータ） (2021-11-02T13:40:18Z)
D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
論文参考訳（メタデータ） (2021-08-19T00:49:01Z)
Learning Complex 3D Human Self-Contact [33.83748199524761]
既存の3次元再構成法は, 身体領域の自己接触に焦点を合わせない。自己接触体表面のシグネチャを推定する自己接触予測モデルを開発した。自己接触シグネチャ制約下での表現力に富む3次元再構成の再現性を示す。
論文参考訳（メタデータ） (2020-12-18T17:09:34Z)
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。