論文の概要: Hi4D: 4D Instance Segmentation of Close Human Interaction

• arxiv url: http://arxiv.org/abs/2303.15380v1
• Date: Mon, 27 Mar 2023 16:53:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 14:28:55.811098
• Title: Hi4D: 4D Instance Segmentation of Close Human Interaction
• Title（参考訳）: Hi4D: クローズヒトインタラクションの4次元インスタンスセグメンテーション
• Authors: Yifei Yin, Chen Guo, Manuel Kaufmann, Juan Jose Zarate, Jie Song, Otmar Hilliges
• Abstract要約: Hi4Dは、20の被験者ペア、100のシーケンス、合計11Kフレームからなる4Dテクスチャスキャンのデータセットである。 このデータセットには、2Dと3Dのリッチなインタラクション中心アノテーションと、正確に登録されたパラメトリックボディモデルが含まれている。
• 参考スコア（独自算出の注目度）: 32.51930800738743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Hi4D, a method and dataset for the automatic analysis of physically close human-human interaction under prolonged contact. Robustly disentangling several in-contact subjects is a challenging task due to occlusions and complex shapes. Hence, existing multi-view systems typically fuse 3D surfaces of close subjects into a single, connected mesh. To address this issue we leverage i) individually fitted neural implicit avatars; ii) an alternating optimization scheme that refines pose and surface through periods of close proximity; and iii) thus segment the fused raw scans into individual instances. From these instances we compile Hi4D dataset of 4D textured scans of 20 subject pairs, 100 sequences, and a total of more than 11K frames. Hi4D contains rich interaction-centric annotations in 2D and 3D alongside accurately registered parametric body models. We define varied human pose and shape estimation tasks on this dataset and provide results from state-of-the-art methods on these benchmarks.
• Abstract（参考訳）: 長時間接触下での物理的に閉じた人間-人間のインタラクションの自動解析のための方法とデータセットであるHi4Dを提案する。 いくつかの接触対象をロバストに分離することは、咬合や複雑な形状のために難しい課題である。 したがって、既存のマルチビューシステムは、通常、近接した被写体の3D表面を単一の接続メッシュに融合する。 この問題に対処するために 一 個別に装着した暗黙のアバター 二 近接した期間を通じてポーズ及び表面を洗練させる交互最適化方式 iii) 融合した生のスキャンを個別のインスタンスに分割する。 これらの例から、20の被験者ペア、100のシーケンス、合計11Kフレームからなる4DテクスチャスキャンのHi4Dデータセットをコンパイルします。 Hi4Dには2Dと3Dにリッチなインタラクション中心アノテーションと、正確に登録されたパラメトリックボディモデルが含まれている。 我々は,このデータセット上で,様々な人間のポーズや形状推定タスクを定義し,それらのベンチマークにおいて最先端の手法による結果を提供する。

関連論文リスト

• Harmony4D: A Video Dataset for In-The-Wild Close Human Interactions [27.677520981665012]
  Harmony4Dは、レスリング、ダンス、MMAなどのフィールド内アクティビティを特徴とする人間と人間のインタラクションのためのデータセットである。 我々は、フレキシブルなマルチビューキャプチャシステムを用いて、これらのダイナミックなアクティビティを記録し、人間検出、追跡、2D/3Dポーズ推定、および密接な相互作用のある被験者のためのメッシュ回復のためのアノテーションを提供する。
  論文  参考訳（メタデータ） (2024-10-27T00:05:15Z)
• CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement [20.520938266527438]
  提案するCORE4Dは,新規な大規模4次元人物体協調物体再構成である。 現実世界で捉えた1K個の人-物-人間の動作シーケンスにより、我々は様々な新しい物体に動きを増強するための反復的な協調戦略を寄与することにより、CORE4Dを豊かにする。 CORE4Dが提供する広範囲な動きパターンから、人間と物体の相互作用を生成するための2つのタスク、すなわち人-物体の動き予測と相互作用合成をベンチマークする。
  論文  参考訳（メタデータ） (2024-06-27T17:32:18Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Reconstructing Three-Dimensional Models of Interacting Humans [38.26269716290761]
  CHI3Dは、正確な3Dモーションキャプチャーデータセットで、631のシーケンスに2525ドルの接触イベントを含む。 FlickrCI3Dは、11,216ドルの画像のデータセットで、14,081ドルの処理と81,233ドルの顔レベルの対応がある。
  論文  参考訳（メタデータ） (2023-08-03T16:20:33Z)
• LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human Modeling [69.56581851211841]
  そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。 私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。 LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-08-18T03:49:44Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• HAA4D: Few-Shot Human Atomic Action Recognition via 3D Spatio-Temporal Skeletal Alignment [62.77491613638775]
  本稿では,300以上の原子行動クラスに3,300本以上のビデオからなる新しい4D HAA4Dデータセットを提案する。 アトミックアクションの選択は、各ビデオクリップがわずか数秒しか続かないため、アノテーションをより簡単にする。 HAA4Dのすべての3D骨格のトレーニングとテストは、同じグローバル空間に深いアライメントモデルを使用して、グローバルにアライメントされている。
  論文  参考訳（メタデータ） (2022-02-15T10:55:21Z)
• 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface [7.637832293935966]
  観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。 ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
  論文  参考訳（メタデータ） (2021-05-05T07:39:12Z)
• Reconstructing Hand-Object Interactions in the Wild [71.16013096764046]
  直接3D監視を必要としない最適化手法を提案する。 利用可能なすべての関連データ(2Dバウンディングボックス、2Dハンドキーポイント、2Dインスタンスマスク、3Dオブジェクトモデル、3DインザラボMoCap)を利用して、3D再構築の制約を提供します。 本手法はEPIC Kitchens と 100 Days of Hands のデータセットから, 難易度の高いデータに対して, 説得力のある再構築を行う。
  論文  参考訳（メタデータ） (2020-12-17T18:59:58Z)
• HMOR: Hierarchical Multi-Person Ordinal Relations for Monocular Multi-Person 3D Pose Estimation [54.23770284299979]
  本稿では, 階層型多人数常連関係(HMOR)を新たに導入する。 HMORは相互作用情報を階層的に深さと角度の順序関係として符号化する。 統合トップダウンモデルは、学習プロセスにおけるこれらの順序関係を活用するように設計されている。 提案手法は, 公開されている多人数の3Dポーズデータセットにおいて, 最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2020-08-01T07:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。