論文の概要: Expressive Forecasting of 3D Whole-body Human Motions

• arxiv url: http://arxiv.org/abs/2312.11972v1
• Date: Tue, 19 Dec 2023 09:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 16:11:40.178290
• Title: Expressive Forecasting of 3D Whole-body Human Motions
• Title（参考訳）: 3次元人体運動の表現的予測
• Authors: Pengxiang Ding, Qiongjie Cui, Min Zhang, Mengyuan Liu, Haofan Wang, Donglin Wang
• Abstract要約: 私たちは初めて、全身の人間のポーズ予測フレームワークを定式化した。 我々のモデルは、クロスコンテキストアライメント(XCA)とクロスコンテキストインタラクション(XCI)の2つの重要な構成要素を含んでいる。 我々は,新たに導入した大規模ベンチマークの広範な実験を行い,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 41.258268038297025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human motion forecasting, with the goal of estimating future human behavior over a period of time, is a fundamental task in many real-world applications. However, existing works typically concentrate on predicting the major joints of the human body without considering the delicate movements of the human hands. In practical applications, hand gesture plays an important role in human communication with the real world, and expresses the primary intention of human beings. In this work, we are the first to formulate a whole-body human pose forecasting task, which jointly predicts the future body and hand activities. Correspondingly, we propose a novel Encoding-Alignment-Interaction (EAI) framework that aims to predict both coarse (body joints) and fine-grained (gestures) activities collaboratively, enabling expressive and cross-facilitated forecasting of 3D whole-body human motions. Specifically, our model involves two key constituents: cross-context alignment (XCA) and cross-context interaction (XCI). Considering the heterogeneous information within the whole-body, XCA aims to align the latent features of various human components, while XCI focuses on effectively capturing the context interaction among the human components. We conduct extensive experiments on a newly-introduced large-scale benchmark and achieve state-of-the-art performance. The code is public for research purposes at https://github.com/Dingpx/EAI.
• Abstract（参考訳）: 人間の動作予測は、時間をかけて将来の人間の行動を予測することを目的としており、多くの現実世界のアプリケーションにおいて基本的なタスクである。 しかし、既存の研究は通常、人間の手の繊細な動きを考慮せずに人体の主要な関節を予測することに集中している。 実践的な応用においては、実世界との人間コミュニケーションにおいて手振りが重要な役割を担い、人間の第一の意図を表現している。 本研究は,身体と手の動きを共同で予測する,全身のポーズ予測タスクを初めて定式化したものである。 そこで,本稿では,粗面(身体関節)と細粒(関節)の両方の活動を協調的に予測することを目的とした,新しいエンコーディング・アリゲーション・インタラクション(eai)フレームワークを提案する。 具体的には,クロスコンテキストアライメント(xca)とクロスコンテキストインタラクション(xci)という2つの重要な構成要素を含む。 全身の異種情報を考えると、XCAは様々な人間の成分の潜伏した特徴を整列することを目的としており、XCIは人間の成分間のコンテキスト相互作用を効果的に捉えることに焦点を当てている。 我々は,新たに導入した大規模ベンチマークの広範な実験を行い,最先端の性能を実現する。 コードは研究目的でhttps://github.com/dingpx/eaiで公開されている。

関連論文リスト

• THOR: Text to Human-Object Interaction Diffusion via Relation Intervention [51.02435289160616]
  我々は、リレーショナルインターベンション(THOR)を用いたテキスト誘導型ヒューマンオブジェクト相互作用拡散モデルを提案する。 各拡散段階において、テキスト誘導された人間と物体の動きを開始し、その後、人と物体の関係を利用して物体の動きに介入する。 テキスト記述をシームレスに統合するText2HOIデータセットであるText-BEHAVEを,現在最大規模で公開されている3D HOIデータセットに構築する。
  論文  参考訳（メタデータ） (2024-03-17T13:17:25Z)
• Inter-X: Towards Versatile Human-Human Interaction Analysis [100.254438708001]
  正確な身体の動きと多様な相互作用パターンを持つデータセットであるInter-Xを提案する。 データセットは、1Kの相互作用シーケンスと8.1Mフレーム以上を含む。 また、Inter-Xには34K以上の微粒な人間のテキスト記述の多義アノテーションも備えています。
  論文  参考訳（メタデータ） (2023-12-26T13:36:05Z)
• InterDiff: Generating 3D Human-Object Interactions with Physics-Informed Diffusion [29.25063155767897]
  本稿では,3次元物体相互作用(HOI)の予測に向けた新しい課題について述べる。 我々のタスクは、様々な形状の動的物体をモデリングし、全身の動きを捉え、物理的に有効な相互作用を確実にする必要があるため、はるかに困難である。 複数の人-物間相互作用データセットを用いた実験は,本手法の有効性を実証し,現実的で,鮮明で,かつ,極めて長期にわたる3D HOI予測を生成できることを示した。
  論文  参考訳（メタデータ） (2023-08-31T17:59:08Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Socially and Contextually Aware Human Motion and Pose Forecasting [48.083060946226]
  本研究では,人間の動作(あるいは骨格ポーズ)と体骨格のポーズ予測の両課題に対処するための新しい枠組みを提案する。 我々は,この予測課題における重要な手がかりとして,シーンと社会的文脈の両方を取り入れることを検討する。 提案手法は,2つのソーシャルデータセットのベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-07-14T06:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。