Fugu-MT 論文翻訳(概要): HOIMotion: Forecasting Human Motion During Human-Object Interactions Using Egocentric 3D Object Bounding Boxes

論文の概要: HOIMotion: Forecasting Human Motion During Human-Object Interactions Using Egocentric 3D Object Bounding Boxes

arxiv url: http://arxiv.org/abs/2407.02633v1
Date: Tue, 2 Jul 2024 19:58:35 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 18:24:13.150826
Title: HOIMotion: Forecasting Human Motion During Human-Object Interactions Using Egocentric 3D Object Bounding Boxes
Title（参考訳）: HOIMotion:エゴセントリックな3Dオブジェクト境界ボックスを用いた人間と物体の相互作用の予測
Authors: Zhiming Hu, Zheming Yin, Daniel Haeufle, Syn Schmitt, Andreas Bulling,
Abstract要約: 本稿では,人間と物体の相互作用における人間の動き予測の新しい手法であるHOIMotionを提案する。提案手法は,過去の身体のポーズやエゴセントリックな3Dオブジェクト境界ボックスに関する情報を統合する。 HOIMotionは、最先端の手法よりも大きなマージンで一貫して優れていることを示す。
参考スコア（独自算出の注目度）: 10.237077867790612
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present HOIMotion - a novel approach for human motion forecasting during human-object interactions that integrates information about past body poses and egocentric 3D object bounding boxes. Human motion forecasting is important in many augmented reality applications but most existing methods have only used past body poses to predict future motion. HOIMotion first uses an encoder-residual graph convolutional network (GCN) and multi-layer perceptrons to extract features from body poses and egocentric 3D object bounding boxes, respectively. Our method then fuses pose and object features into a novel pose-object graph and uses a residual-decoder GCN to forecast future body motion. We extensively evaluate our method on the Aria digital twin (ADT) and MoGaze datasets and show that HOIMotion consistently outperforms state-of-the-art methods by a large margin of up to 8.7% on ADT and 7.2% on MoGaze in terms of mean per joint position error. Complementing these evaluations, we report a human study (N=20) that shows that the improvements achieved by our method result in forecasted poses being perceived as both more precise and more realistic than those of existing methods. Taken together, these results reveal the significant information content available in egocentric 3D object bounding boxes for human motion forecasting and the effectiveness of our method in exploiting this information.
Abstract（参考訳）: 我々は,過去の身体のポーズやエゴセントリックな3Dオブジェクトバウンディングボックスに関する情報を統合した,人間と物体の相互作用における人間の動作予測の新しいアプローチであるHOIMotionを提案する。人間の動き予測は、多くの拡張現実アプリケーションにおいて重要であるが、既存のほとんどの方法は、将来の動きを予測するために過去の身体のポーズしか使われていない。 HOIMotionはまず、エンコーダ-残留グラフ畳み込みネットワーク(GCN)と多層パーセプトロンを使用して、それぞれボディポーズとエゴセントリックな3Dオブジェクト境界ボックスから特徴を抽出する。提案手法は,ポーズとオブジェクトの特徴を新しいポーズオブジェクトグラフに融合し,残差デコーダGCNを用いて将来の身体動作を予測する。 Aria Digital twin (ADT) と MoGaze のデータセットを用いて, HOIMotion は ADT では8.7% , MoGaze では7.2% という大差で, 常に最先端の手法より優れていることを示す。これらの評価を補完し,本手法が達成した改善が,既存手法よりも正確かつ現実的なものと認識される結果をもたらすことを示す人間研究(N=20)を報告する。これらの結果から,人間の動き予測のためのエゴセントリックな3次元オブジェクト境界ボックスで利用可能な重要な情報内容と,この情報を活用する方法の有効性が明らかになった。

関連論文リスト

MoManifold: Learning to Measure 3D Human Motion via Decoupled Joint Acceleration Manifolds [20.83684434910106]
我々は、連続した高次元運動空間における可塑性人間の動きをモデル化した、新しい人間の動きであるMoManifoldを提案する。具体的には、既存の限られた動きデータから人間の力学をモデル化する新しい結合加速法を提案する。大規模な実験により、MoManifoldはいくつかの下流タスクにおいて既存のSOTAよりも優れていることが示された。
論文参考訳（メタデータ） (2024-09-01T15:00:16Z)
Towards Practical Human Motion Prediction with LiDAR Point Clouds [15.715130864327792]
我々は,最初のシングルLiDARに基づく3次元人体動作予測手法であるtextitLiDAR-HMPを提案する。 LiDAR-HMPは、入力として生のLiDARポイントクラウドを受け取り、将来の3D人間のポーズを直接予測する。提案手法は,2つの公開ベンチマーク上での最先端性能を実現し,実世界の展開において顕著な堅牢性と有効性を示す。
論文参考訳（メタデータ） (2024-08-15T15:10:01Z)
HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文参考訳（メタデータ） (2023-12-27T22:35:33Z)
Human Action Recognition in Egocentric Perspective Using 2D Object and Hands Pose [2.0305676256390934]
エゴセントリックなアクション認識は、エゴセントリックなカメラに依存する医療と補助技術にとって不可欠である。本研究では,2次元手とオブジェクトポーズ情報を用いた自我中心の行動認識の実現可能性について検討した。
論文参考訳（メタデータ） (2023-06-08T12:15:16Z)
UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文参考訳（メタデータ） (2022-08-02T17:59:54Z)
Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions [82.90906153293585]
本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
論文参考訳（メタデータ） (2022-06-25T09:55:39Z)
Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文参考訳（メタデータ） (2021-11-02T13:40:18Z)
Improving Robustness and Accuracy via Relative Information Encoding in 3D Human Pose Estimation [59.94032196768748]
位置および時間的拡張表現を出力する相対情報符号化法を提案する。提案手法は2つの公開データセット上で最先端の手法より優れている。
論文参考訳（メタデータ） (2021-07-29T14:12:19Z)
TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文参考訳（メタデータ） (2021-04-08T20:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。