論文の概要: ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions
- arxiv url: http://arxiv.org/abs/2401.10232v2
- Date: Wed, 22 Jan 2025 07:00:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-23 13:29:51.893953
- Title: ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions
- Title（参考訳）: パラホーム:人間と物体の相互作用の3次元生成モデルに向けた日常生活活動のパラメータ化
- Authors: Jeonghwan Kim, Jisoo Kim, Jeonghyeon Na, Hanbyul Joo,
- Abstract要約: そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計したParaHomeシステムを紹介した。
我々のシステムは70台のRGBカメラとIMUベースのボディスーツやハンドモーションキャプチャーグローブなどのウェアラブルモーションキャプチャー装置を備えた多視点セットアップを備えている。
ParaHomeシステムを利用することで、38人の参加者とともに、207回のキャプチャで486分間のシーケンスを含む、新たな人間とオブジェクトのインタラクションデータセットを収集する。
- 参考スコア（独自算出の注目度）: 10.364340631868322
- License:
- Abstract: To enable machines to understand the way humans interact with the physical world in daily life, 3D interaction signals should be captured in natural settings, allowing people to engage with multiple objects in a range of sequential and casual manipulations. To achieve this goal, we introduce our ParaHome system designed to capture dynamic 3D movements of humans and objects within a common home environment. Our system features a multi-view setup with 70 synchronized RGB cameras, along with wearable motion capture devices including an IMU-based body suit and hand motion capture gloves. By leveraging the ParaHome system, we collect a new human-object interaction dataset, including 486 minutes of sequences across 207 captures with 38 participants, offering advancements with three key aspects: (1) capturing body motion and dexterous hand manipulation motion alongside multiple objects within a contextual home environment; (2) encompassing sequential and concurrent manipulations paired with text descriptions; and (3) including articulated objects with multiple parts represented by 3D parameterized models. We present detailed design justifications for our system, and perform key generative modeling experiments to demonstrate the potential of our dataset.
- Abstract（参考訳）: マシンが人間の日常生活における物理的世界との対話の仕方を理解するためには、自然な環境で3Dインタラクション信号をキャプチャして、複数のオブジェクトをシーケンシャルかつカジュアルな操作で扱えるようにする必要がある。
この目的を達成するために,人間と物体のダイナミックな3次元運動を,共通のホーム環境内で捉えるために設計したParaHomeシステムを紹介した。
我々のシステムは70台のRGBカメラとIMUベースのボディスーツやハンドモーションキャプチャーグローブなどのウェアラブルモーションキャプチャー装置を備えた多視点セットアップを備えている。
そこで,ParaHomeシステムを活用することで,被験者38名を対象に,約486分間のシーケンスを含む新たな人間と物体のインタラクションデータセットを収集し,身体の動きと器用な手操作動作と,テキスト記述と組み合わせた逐次的かつ同時的な操作を含むこと,および3Dパラメータ化モデルで表現された複数の部分を含むこと,の3つの重要な側面を考察した。
本稿では,本システムの設計正当性を詳述するとともに,提案するデータセットの可能性を実証するための重要な生成モデル実験を行う。
関連論文リスト
- EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - HO-Cap: A Capture System and Dataset for 3D Reconstruction and Pose Tracking of Hand-Object Interaction [16.363878619678367]
ビデオ中の手や物体の3次元再構成とポーズトラッキングのためのデータキャプチャシステムと新しいデータセットHO-Capを導入する。
システムは複数のRGB-DカメラとHoloLensヘッドセットをデータ収集に利用し、高価な3Dスキャナーやモキャップシステムの使用を避ける。
ビデオ中の手や物体の形状やポーズをアノテートする半自動手法を提案し,手動ラベリングと比較してアノテーションの時間を大幅に短縮する。
論文 参考訳（メタデータ） (2024-06-10T23:25:19Z) - Object Motion Guided Human Motion Synthesis [22.08240141115053]
大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。
条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。
我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
論文 参考訳（メタデータ） (2023-09-28T08:22:00Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-08-24T17:59:51Z) - GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。
現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。
GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文 参考訳（メタデータ） (2023-08-22T17:59:51Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳（メタデータ） (2023-03-23T09:31:56Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳（メタデータ） (2021-11-02T13:40:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。