論文の概要: Hand-Centric Motion Refinement for 3D Hand-Object Interaction via
Hierarchical Spatial-Temporal Modeling
- arxiv url: http://arxiv.org/abs/2401.15987v1
- Date: Mon, 29 Jan 2024 09:17:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 15:42:59.522888
- Title: Hand-Centric Motion Refinement for 3D Hand-Object Interaction via
Hierarchical Spatial-Temporal Modeling
- Title(参考訳): 階層型空間-テンポラルモデリングによる3次元ハンドオブジェクトインタラクションのための手中心運動の微細化
- Authors: Yuze Hao and Jianrong Zhang and Tao Zhuo and Fuan Wen and Hehe Fan
- Abstract要約: 粗い手の動き改善のためのデータ駆動方式を提案する。
まず,手と物体の動的空間的関係を記述するために,手中心の表現を設計する。
第2に,手動物体相互作用の動的手がかりを捉えるために,新しいアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 18.128376292350836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hands are the main medium when people interact with the world. Generating
proper 3D motion for hand-object interaction is vital for applications such as
virtual reality and robotics. Although grasp tracking or object manipulation
synthesis can produce coarse hand motion, this kind of motion is inevitably
noisy and full of jitter. To address this problem, we propose a data-driven
method for coarse motion refinement. First, we design a hand-centric
representation to describe the dynamic spatial-temporal relation between hands
and objects. Compared to the object-centric representation, our hand-centric
representation is straightforward and does not require an ambiguous projection
process that converts object-based prediction into hand motion. Second, to
capture the dynamic clues of hand-object interaction, we propose a new
architecture that models the spatial and temporal structure in a hierarchical
manner. Extensive experiments demonstrate that our method outperforms previous
methods by a noticeable margin.
- Abstract(参考訳): 人々が世界と対話する主な媒体は手である。
バーチャルリアリティやロボティクスなどのアプリケーションでは、手と物体の対話のために適切な3dモーションを生成することが不可欠である。
グリップトラッキングやオブジェクト操作合成は粗い手の動きを生じさせるが、このような動きは必然的にうるさく、ジッタだらけである。
そこで本研究では,粗い動き改善のためのデータ駆動手法を提案する。
まず,手と物体間の動的空間的関係を記述するために手中心表現を設計する。
対象中心の表現と比較して、我々の手中心の表現は単純であり、オブジェクトベースの予測を手の動きに変換する曖昧な投影プロセスを必要としない。
第2に,手動物体相互作用の動的手がかりを捉えるために,空間構造と時間構造を階層的にモデル化するアーキテクチャを提案する。
広範囲にわたる実験により,本手法が従来の手法よりも有意な差を示した。
関連論文リスト
- Controllable Human-Object Interaction Synthesis [81.45852197029363]
本稿では,物体の動きと人体の動きを同時に生成するCHOIS(C Controllable Human-Object Interaction Synthesis)を提案する。
我々は、言語記述、初期オブジェクトと人間の状態、およびスパースオブジェクトのウェイポイントが与えられた条件拡散モデルを使用する。
これらの問題を克服するために、生成した物体の動きと入力対象の経路点との整合性を改善するために、追加の監督としてオブジェクト幾何損失を導入する。
論文 参考訳(メタデータ) (2023-12-06T21:14:20Z) - CG-HOI: Contact-Guided 3D Human-Object Interaction Generation [34.6807482408579]
テキストから動的3次元人-物体相互作用(HOI)を生成する最初の方法であるCG-HOIを提案する。
意味的に豊かな人間の動きは、しばしば孤立して起こるので、人間と物体の両方の動きを相互依存的にモデル化する。
我々は,接触に基づく人間と物体の相互作用が現実的かつ物理的に妥当なシーケンスを生成することを示す。
論文 参考訳(メタデータ) (2023-11-27T18:59:10Z) - Object Motion Guided Human Motion Synthesis [22.08240141115053]
大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。
条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。
我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
論文 参考訳(メタデータ) (2023-09-28T08:22:00Z) - GRIP: Generating Interaction Poses Using Latent Consistency and Spatial
Cues [60.90013719118856]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。
現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。
GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文 参考訳(メタデータ) (2023-08-22T17:59:51Z) - Novel-view Synthesis and Pose Estimation for Hand-Object Interaction
from Sparse Views [41.50710846018882]
スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。
まず,手や物体の形状や外観を,神経表現と別々に学習する。
オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
論文 参考訳(メタデータ) (2023-08-22T05:17:41Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳(メタデータ) (2023-03-23T09:31:56Z) - IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object
Interactions [69.95820880360345]
そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。
本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。
その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
論文 参考訳(メタデータ) (2022-12-14T23:59:24Z) - D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object
Interactions [47.55376158184854]
動的合成把握タスクを導入する。
既知の6Dポーズと把握基準を持つオブジェクトが与えられた場合、私たちのゴールはオブジェクトをターゲット6Dポーズに移動させる動作を生成することです。
階層的なアプローチは、タスクを低レベルの把握と高レベルのモーション合成に分解する。
論文 参考訳(メタデータ) (2021-12-01T17:04:39Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳(メタデータ) (2021-11-02T13:40:18Z) - Egocentric View Hand Action Recognition by Leveraging Hand Surface and
Hand Grasp Type [15.878905144552204]
このフレームワークは、手メッシュモデルの平均曲率を合成し、3次元空間における手表面形状を符号化する。
手のつかみタイプと手の平均曲率を用いることで,手の動き認識の性能が向上する。
論文 参考訳(メタデータ) (2021-09-08T17:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。