論文の概要: GRIP: Generating Interaction Poses Using Latent Consistency and Spatial Cues

• arxiv url: http://arxiv.org/abs/2308.11617v1
• Date: Tue, 22 Aug 2023 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 17:11:26.393483
• Title: GRIP: Generating Interaction Poses Using Latent Consistency and Spatial Cues
• Title（参考訳）: GRIP:潜時一貫性と空間的手がかりを用いたインタラクションポーザ生成
• Authors: Omid Taheri, Yi Zhou, Dimitrios Tzionas, Yang Zhou, Duygu Ceylan, Soren Pirk, Michael J. Black
• Abstract要約: 手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
• 参考スコア（独自算出の注目度）: 60.90013719118856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hands are dexterous and highly versatile manipulators that are central to how humans interact with objects and their environment. Consequently, modeling realistic hand-object interactions, including the subtle motion of individual fingers, is critical for applications in computer graphics, computer vision, and mixed reality. Prior work on capturing and modeling humans interacting with objects in 3D focuses on the body and object motion, often ignoring hand pose. In contrast, we introduce GRIP, a learning-based method that takes, as input, the 3D motion of the body and the object, and synthesizes realistic motion for both hands before, during, and after object interaction. As a preliminary step before synthesizing the hand motion, we first use a network, ANet, to denoise the arm motion. Then, we leverage the spatio-temporal relationship between the body and the object to extract two types of novel temporal interaction cues, and use them in a two-stage inference pipeline to generate the hand motion. In the first stage, we introduce a new approach to enforce motion temporal consistency in the latent space (LTC), and generate consistent interaction motions. In the second stage, GRIP generates refined hand poses to avoid hand-object penetrations. Given sequences of noisy body and object motion, GRIP upgrades them to include hand-object interaction. Quantitative experiments and perceptual studies demonstrate that GRIP outperforms baseline methods and generalizes to unseen objects and motions from different motion-capture datasets.
• Abstract（参考訳）: 手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 したがって、個々の指の微妙な動きを含む現実的な手と物体の相互作用のモデリングは、コンピュータグラフィックス、コンピュータビジョン、混合現実のアプリケーションにとって重要である。 3dで物体と相互作用する人間を捉えてモデリングする以前の仕事は、身体と物体の動きに焦点を当て、しばしば手のポーズを無視していた。 対照的に,物体と物体の3次元運動を入力とし,物体の相互作用前後における両手の現実的な動きを合成する学習ベース手法であるグリップを提案する。 手の動きを合成する前段階として、まず腕の動きを認知するためにネットワークANetを使用します。 次に, 物体と物体の時空間的関係を利用して2種類の新しい時間的相互作用の手がかりを抽出し, 2段階の推論パイプラインで手の動きを生成する。 第1段階では、潜伏空間(LTC)における動き時間一貫性を強制し、一貫した相互作用運動を生成する新しいアプローチを導入する。 第2段階では、GRIPは手荷物の侵入を避けるために洗練された手ポーズを生成する。 ノイズのある体と物体の動きのシーケンスが与えられたら、GRIPはそれらを手動物体の相互作用を含むようにアップグレードする。 定量的実験と知覚的研究により、GRIPはベースライン法を上回り、異なるモーションキャプチャーデータセットから見えない物体や動きに一般化することを示した。

関連論文リスト

• DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
  DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。 タスクを把握段階とテキストベースのインタラクション段階に分解する。 把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
  論文  参考訳（メタデータ） (2024-03-26T16:06:42Z)
• Hand-Centric Motion Refinement for 3D Hand-Object Interaction via Hierarchical Spatial-Temporal Modeling [18.128376292350836]
  粗い手の動き改善のためのデータ駆動方式を提案する。 まず,手と物体の動的空間的関係を記述するために,手中心の表現を設計する。 第2に,手動物体相互作用の動的手がかりを捉えるために,新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-29T09:17:51Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• CG-HOI: Contact-Guided 3D Human-Object Interaction Generation [29.3564427724612]
  テキストから動的3次元人-物体相互作用(HOI)を生成する最初の方法であるCG-HOIを提案する。 意味的に豊かな人間の動きは、しばしば孤立して起こるので、人間と物体の両方の動きを相互依存的にモデル化する。 我々は,接触に基づく人間と物体の相互作用が現実的かつ物理的に妥当なシーケンスを生成することを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:59:10Z)
• Object Motion Guided Human Motion Synthesis [22.08240141115053]
  大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。 条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。 我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
  論文  参考訳（メタデータ） (2023-09-28T08:22:00Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)
• Object Properties Inferring from and Transfer for Human Interaction Motions [51.896592493436984]
  本稿では,人間のインタラクション動作のみからオブジェクト特性を推測する,きめ細かい動作認識手法を提案する。 我々は、慣性モーションキャプチャー装置を用いて、演奏者の多数のビデオと3D骨格の動きを収集する。 特に, 相互作用対象の重み, 脆弱性, デリカシーを推定することにより, 相互作用対象の同定を学習する。
  論文  参考訳（メタデータ） (2020-08-20T14:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。