論文の概要: Physically Plausible Full-Body Hand-Object Interaction Synthesis
- arxiv url: http://arxiv.org/abs/2309.07907v1
- Date: Thu, 14 Sep 2023 17:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 11:42:45.976935
- Title: Physically Plausible Full-Body Hand-Object Interaction Synthesis
- Title(参考訳): 物理的に可塑性フルボディハンドオブジェクト相互作用合成
- Authors: Jona Braun, Sammy Christen, Muhammed Kocabas, Emre Aksan, Otmar
Hilliges
- Abstract要約: そこで本研究では,全体で手-物体間相互作用を合成するための物理に基づく手法を提案する。
既存のメソッドは、しばしば相互作用プロセスの分離されたセグメントにフォーカスし、成果物をもたらす可能性のあるデータ駆動技術に依存します。
- 参考スコア(独自算出の注目度): 32.83908152822006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a physics-based method for synthesizing dexterous hand-object
interactions in a full-body setting. While recent advancements have addressed
specific facets of human-object interactions, a comprehensive physics-based
approach remains a challenge. Existing methods often focus on isolated segments
of the interaction process and rely on data-driven techniques that may result
in artifacts. In contrast, our proposed method embraces reinforcement learning
(RL) and physics simulation to mitigate the limitations of data-driven
approaches. Through a hierarchical framework, we first learn skill priors for
both body and hand movements in a decoupled setting. The generic skill priors
learn to decode a latent skill embedding into the motion of the underlying
part. A high-level policy then controls hand-object interactions in these
pretrained latent spaces, guided by task objectives of grasping and 3D target
trajectory following. It is trained using a novel reward function that combines
an adversarial style term with a task reward, encouraging natural motions while
fulfilling the task incentives. Our method successfully accomplishes the
complete interaction task, from approaching an object to grasping and
subsequent manipulation. We compare our approach against kinematics-based
baselines and show that it leads to more physically plausible motions.
- Abstract(参考訳): そこで本研究では, 物体間相互作用を全体で合成する物理手法を提案する。
近年の進歩は、人間と物体の相互作用の特定の側面に対処しているが、包括的な物理に基づくアプローチは依然として課題である。
既存のメソッドは、しばしばインタラクションプロセスの分離セグメントに焦点を当て、アーティファクトにつながる可能性のあるデータ駆動技術に依存します。
対照的に,提案手法は強化学習(RL)と物理シミュレーションを採用し,データ駆動手法の限界を緩和する。
階層的なフレームワークを通じて、まず、分離した設定で身体と手の動きのスキルを学習する。
ジェネリックスキル先行者は、基礎部分の動きに埋め込まれた潜伏スキルをデコードすることを学ぶ。
ハイレベルなポリシーは、これらの事前訓練された潜在空間における手と対象の相互作用を制御し、把持のタスク目標と3次元の目標追跡によって導かれる。
対人的なスタイルの用語とタスク報酬を組み合わせ、タスクインセンティブを達成しつつ自然な動きを奨励する新しい報酬関数を用いて訓練される。
本手法は,オブジェクトの接近から把握,その後の操作に至るまで,完全なインタラクションタスクの実現に成功している。
このアプローチをキネマティックスベースのベースラインと比較し,より物理的に妥当な動作につながることを示す。
関連論文リスト
- Controllable Human-Object Interaction Synthesis [81.45852197029363]
本稿では,物体の動きと人体の動きを同時に生成するCHOIS(C Controllable Human-Object Interaction Synthesis)を提案する。
我々は、言語記述、初期オブジェクトと人間の状態、およびスパースオブジェクトのウェイポイントが与えられた条件拡散モデルを使用する。
これらの問題を克服するために、生成した物体の動きと入力対象の経路点との整合性を改善するために、追加の監督としてオブジェクト幾何損失を導入する。
論文 参考訳(メタデータ) (2023-12-06T21:14:20Z) - CG-HOI: Contact-Guided 3D Human-Object Interaction Generation [34.6807482408579]
テキストから動的3次元人-物体相互作用(HOI)を生成する最初の方法であるCG-HOIを提案する。
意味的に豊かな人間の動きは、しばしば孤立して起こるので、人間と物体の両方の動きを相互依存的にモデル化する。
我々は,接触に基づく人間と物体の相互作用が現実的かつ物理的に妥当なシーケンスを生成することを示す。
論文 参考訳(メタデータ) (2023-11-27T18:59:10Z) - Learning Extrinsic Dexterity with Parameterized Manipulation Primitives [9.528351777701811]
我々は、オブジェクトのポーズを変えるために環境を利用する一連のアクションを学習する。
我々のアプローチは、オブジェクトとグリップと環境の間の相互作用を利用してオブジェクトの状態を制御することができる。
拘束されたテーブルトップワークスペースから様々な重量,形状,摩擦特性の箱状物体を選別する手法の評価を行った。
論文 参考訳(メタデータ) (2023-10-26T21:28:23Z) - ArtiGrasp: Physically Plausible Synthesis of Bi-Manual Dexterous
Grasping and Articulation [29.999224233718927]
ArtiGraspは、握りと調音を含む双方向の手-物体の相互作用を合成する方法である。
我々のフレームワークは、単一の手ポーズ参照によってガイドされた単一のポリシー内での把握と明瞭化を統一する。
提案手法は,市販画像ベース回帰器からノイズの多い手動ポーズ推定を行うことができることを示す。
論文 参考訳(メタデータ) (2023-09-07T17:53:20Z) - GRIP: Generating Interaction Poses Using Latent Consistency and Spatial
Cues [60.90013719118856]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。
現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。
GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文 参考訳(メタデータ) (2023-08-22T17:59:51Z) - InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild [40.489171608114574]
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2023-08-06T09:09:17Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳(メタデータ) (2023-03-23T09:31:56Z) - Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and
Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。
No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。
このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。
各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
論文 参考訳(メタデータ) (2022-06-13T16:20:42Z) - D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object
Interactions [47.55376158184854]
動的合成把握タスクを導入する。
既知の6Dポーズと把握基準を持つオブジェクトが与えられた場合、私たちのゴールはオブジェクトをターゲット6Dポーズに移動させる動作を生成することです。
階層的なアプローチは、タスクを低レベルの把握と高レベルのモーション合成に分解する。
論文 参考訳(メタデータ) (2021-12-01T17:04:39Z) - Contact-Aware Retargeting of Skinned Motion [49.71236739408685]
本稿では,自己接触を保存し,相互接続を防止する動作推定手法を提案する。
入力運動における自己接触と接地を同定し、出力骨格に適用するための動作を最適化する。
実験では,従来の手法を定量的に上回り,近年の成果よりも高い品質で再ターゲットされた動きを評価できるユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-09-15T17:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。