論文の概要: Physically Plausible Full-Body Hand-Object Interaction Synthesis

• arxiv url: http://arxiv.org/abs/2309.07907v1
• Date: Thu, 14 Sep 2023 17:55:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 11:42:45.976935
• Title: Physically Plausible Full-Body Hand-Object Interaction Synthesis
• Title（参考訳）: 物理的に可塑性フルボディハンドオブジェクト相互作用合成
• Authors: Jona Braun, Sammy Christen, Muhammed Kocabas, Emre Aksan, Otmar Hilliges
• Abstract要約: そこで本研究では,全体で手-物体間相互作用を合成するための物理に基づく手法を提案する。 既存のメソッドは、しばしば相互作用プロセスの分離されたセグメントにフォーカスし、成果物をもたらす可能性のあるデータ駆動技術に依存します。
• 参考スコア（独自算出の注目度）: 32.83908152822006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a physics-based method for synthesizing dexterous hand-object interactions in a full-body setting. While recent advancements have addressed specific facets of human-object interactions, a comprehensive physics-based approach remains a challenge. Existing methods often focus on isolated segments of the interaction process and rely on data-driven techniques that may result in artifacts. In contrast, our proposed method embraces reinforcement learning (RL) and physics simulation to mitigate the limitations of data-driven approaches. Through a hierarchical framework, we first learn skill priors for both body and hand movements in a decoupled setting. The generic skill priors learn to decode a latent skill embedding into the motion of the underlying part. A high-level policy then controls hand-object interactions in these pretrained latent spaces, guided by task objectives of grasping and 3D target trajectory following. It is trained using a novel reward function that combines an adversarial style term with a task reward, encouraging natural motions while fulfilling the task incentives. Our method successfully accomplishes the complete interaction task, from approaching an object to grasping and subsequent manipulation. We compare our approach against kinematics-based baselines and show that it leads to more physically plausible motions.
• Abstract（参考訳）: そこで本研究では, 物体間相互作用を全体で合成する物理手法を提案する。 近年の進歩は、人間と物体の相互作用の特定の側面に対処しているが、包括的な物理に基づくアプローチは依然として課題である。 既存のメソッドは、しばしばインタラクションプロセスの分離セグメントに焦点を当て、アーティファクトにつながる可能性のあるデータ駆動技術に依存します。 対照的に,提案手法は強化学習(RL)と物理シミュレーションを採用し,データ駆動手法の限界を緩和する。 階層的なフレームワークを通じて、まず、分離した設定で身体と手の動きのスキルを学習する。 ジェネリックスキル先行者は、基礎部分の動きに埋め込まれた潜伏スキルをデコードすることを学ぶ。 ハイレベルなポリシーは、これらの事前訓練された潜在空間における手と対象の相互作用を制御し、把持のタスク目標と3次元の目標追跡によって導かれる。 対人的なスタイルの用語とタスク報酬を組み合わせ、タスクインセンティブを達成しつつ自然な動きを奨励する新しい報酬関数を用いて訓練される。 本手法は,オブジェクトの接近から把握,その後の操作に至るまで,完全なインタラクションタスクの実現に成功している。 このアプローチをキネマティックスベースのベースラインと比較し,より物理的に妥当な動作につながることを示す。

関連論文リスト

• DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
  DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。 タスクを把握段階とテキストベースのインタラクション段階に分解する。 把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
  論文  参考訳（メタデータ） (2024-03-26T16:06:42Z)
• AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents [58.807802111818994]
  オープンな語彙の指示に従って物理的に妥当な相互作用を学習する新しい階層的手法であるAnySkillを提案する。 我々のアプローチは、模倣学習によって訓練された低レベルコントローラを介して、一連のアトミックアクションを開発することから始まります。 提案手法の重要な特徴は,手動の報酬工学を使わずにオブジェクトとのインタラクションを学習する,高レベルなポリシーに対する画像ベースの報酬の利用である。
  論文  参考訳（メタデータ） (2024-03-19T15:41:39Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• CG-HOI: Contact-Guided 3D Human-Object Interaction Generation [29.3564427724612]
  テキストから動的3次元人-物体相互作用(HOI)を生成する最初の方法であるCG-HOIを提案する。 意味的に豊かな人間の動きは、しばしば孤立して起こるので、人間と物体の両方の動きを相互依存的にモデル化する。 我々は,接触に基づく人間と物体の相互作用が現実的かつ物理的に妥当なシーケンスを生成することを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:59:10Z)
• ArtiGrasp: Physically Plausible Synthesis of Bi-Manual Dexterous Grasping and Articulation [29.999224233718927]
  ArtiGraspは、握りと調音を含む双方向の手-物体の相互作用を合成する方法である。 我々のフレームワークは、単一の手ポーズ参照によってガイドされた単一のポリシー内での把握と明瞭化を統一する。 提案手法は,市販画像ベース回帰器からノイズの多い手動ポーズ推定を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:53:20Z)
• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object Interactions [47.55376158184854]
  動的合成把握タスクを導入する。 既知の6Dポーズと把握基準を持つオブジェクトが与えられた場合、私たちのゴールはオブジェクトをターゲット6Dポーズに移動させる動作を生成することです。 階層的なアプローチは、タスクを低レベルの把握と高レベルのモーション合成に分解する。
  論文  参考訳（メタデータ） (2021-12-01T17:04:39Z)
• Contact-Aware Retargeting of Skinned Motion [49.71236739408685]
  本稿では,自己接触を保存し,相互接続を防止する動作推定手法を提案する。 入力運動における自己接触と接地を同定し、出力骨格に適用するための動作を最適化する。 実験では,従来の手法を定量的に上回り,近年の成果よりも高い品質で再ターゲットされた動きを評価できるユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-09-15T17:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。