論文の概要: Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2303.13129v2
• Date: Sat, 4 Nov 2023 03:47:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 23:20:23.758568
• Title: Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations
• Title（参考訳）: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
• Authors: Quanzhou Li, Jingbo Wang, Chen Change Loy, Bo Dai
• Abstract要約: TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
• 参考スコア（独自算出の注目度）: 61.659439423703155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Digital human motion synthesis is a vibrant research field with applications in movies, AR/VR, and video games. Whereas methods were proposed to generate natural and realistic human motions, most only focus on modeling humans and largely ignore object movements. Generating task-oriented human-object interaction motions in simulation is challenging. For different intents of using the objects, humans conduct various motions, which requires the human first to approach the objects and then make them move consistently with the human instead of staying still. Also, to deploy in downstream applications, the synthesized motions are desired to be flexible in length, providing options to personalize the predicted motions for various purposes. To this end, we propose TOHO: Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations, which generates full human-object interaction motions to conduct specific tasks, given only the task type, the object, and a starting human status. TOHO generates human-object motions in three steps: 1) it first estimates the keyframe poses of conducting a task given the task type and object information; 2) then, it infills the keyframes and generates continuous motions; 3) finally, it applies a compact closed-form object motion estimation to generate the object motion. Our method generates continuous motions that are parameterized only by the temporal coordinate, which allows for upsampling or downsampling of the sequence to arbitrary frames and adjusting the motion speeds by designing the temporal coordinate vector. We demonstrate the effectiveness of our method, both qualitatively and quantitatively. This work takes a step further toward general human-scene interaction simulation.
• Abstract（参考訳）: デジタルヒューマンモーション合成は、映画、AR/VR、ビデオゲームに応用される活発な研究分野である。 自然で現実的な人間の動きを生成する方法が提案されたが、ほとんどは人間のモデリングに焦点を合わせ、物体の動きを無視した。 シミュレーションにおけるタスク指向の人間-物体相互作用運動の生成は困難である。 物体の使用の異なる意図のために、人間は様々な動きを行うため、人間はまず物体に接近し、そこに留まる代わりに人間と連続して動くように要求する。 また、下流アプリケーションに展開するためには、合成された動きは、様々な目的のために予測された動きをパーソナライズするオプションを提供するために、長めの柔軟性が望まれる。 この目的のために,タスクタイプ,オブジェクト,および開始状態のみを与えられた特定のタスクを実行するために,完全なヒューマン・オブジェクトインタラクション動作を生成する暗黙の神経表現によるタスク指向のヒューマン・オブジェクトインタラクション生成を提案する。 TOHOは3ステップで人物体の動きを生成する。 1) タスクの種類と対象情報を与えられたタスクを実行する際のキーフレームのポーズを最初に見積もる。 2) キーフレームを満たし,連続的な動作を生成する。 3) 最後に,コンパクトな閉形式物体運動推定を適用し,物体運動を生成する。 本手法では,時間座標のみによってパラメータ化される連続運動を生成し,任意のフレームへのシーケンスのアップサンプリングやダウンサンプリングを可能にし,時間座標ベクトルの設計による動き速度の調整を行う。 本手法の有効性を質的および定量的に実証する。 この研究は、一般の人間とシーンの相互作用シミュレーションに向けてさらに一歩前進する。

関連論文リスト

• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• Object Motion Guided Human Motion Synthesis [22.08240141115053]
  大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。 条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。 我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
  論文  参考訳（メタデータ） (2023-09-28T08:22:00Z)
• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis [21.650091018774972]
  我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。 この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。 いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-14T17:59:38Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)
• SAGA: Stochastic Whole-Body Grasping with Contact [60.43627793243098]
  人間の握り合成には、AR/VR、ビデオゲーム、ロボット工学など多くの応用がある。 本研究の目的は,体全体をつかむ動作を合成することである。3次元物体が与えられたら,物体に接近してつかむような,多様で自然な人体の動きを生成することを目的としている。
  論文  参考訳（メタデータ） (2021-12-19T10:15:30Z)
• Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
  人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。 本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。 映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-07T23:11:42Z)
• Scene-aware Generative Network for Human Motion Synthesis [125.21079898942347]
  シーンと人間の動きの相互作用を考慮した新しい枠組みを提案する。 人間の動きの不確実性を考慮すると、このタスクを生成タスクとして定式化する。 我々は、人間の動きと文脈シーンとの整合性を強制するための識別器を備えた、GANに基づく学習アプローチを導出する。
  論文  参考訳（メタデータ） (2021-05-31T09:05:50Z)
• Action2Motion: Conditioned Generation of 3D Human Motions [28.031644518303075]
  我々は3Dで人間の動作シーケンスを生成することを目的としている。 それぞれのサンプル配列は、自然界の体動力学に忠実に類似している。 新しい3DモーションデータセットであるHumanAct12も構築されている。
  論文  参考訳（メタデータ） (2020-07-30T05:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。