論文の概要: GAN-based Reactive Motion Synthesis with Class-aware Discriminators for
Human-human Interaction
- arxiv url: http://arxiv.org/abs/2110.00380v1
- Date: Fri, 1 Oct 2021 13:13:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 14:28:28.248526
- Title: GAN-based Reactive Motion Synthesis with Class-aware Discriminators for
Human-human Interaction
- Title(参考訳): 対人インタラクションのためのクラス認識識別器を用いたGANに基づく反応運動合成
- Authors: Qianhui Men, Hubert P. H. Shum, Edmond S. L. Ho, Howard Leung
- Abstract要約: 本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。
合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
- 参考スコア(独自算出の注目度): 14.023527193608144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating realistic characters that can react to the users' or another
character's movement can benefit computer graphics, games and virtual reality
hugely. However, synthesizing such reactive motions in human-human interactions
is a challenging task due to the many different ways two humans can interact.
While there are a number of successful researches in adapting the generative
adversarial network (GAN) in synthesizing single human actions, there are very
few on modelling human-human interactions. In this paper, we propose a
semi-supervised GAN system that synthesizes the reactive motion of a character
given the active motion from another character. Our key insights are two-fold.
First, to effectively encode the complicated spatial-temporal information of a
human motion, we empower the generator with a part-based long short-term memory
(LSTM) module, such that the temporal movement of different limbs can be
effectively modelled. We further include an attention module such that the
temporal significance of the interaction can be learned, which enhances the
temporal alignment of the active-reactive motion pair. Second, as the reactive
motion of different types of interactions can be significantly different, we
introduce a discriminator that not only tells if the generated movement is
realistic or not, but also tells the class label of the interaction. This
allows the use of such labels in supervising the training of the generator. We
experiment with the SBU and the HHOI datasets. The high quality of the
synthetic motion demonstrates the effective design of our generator, and the
discriminability of the synthesis also demonstrates the strength of our
discriminator.
- Abstract(参考訳): ユーザーや他のキャラクターの動きに反応できるリアルなキャラクターを作ることは、コンピュータグラフィックス、ゲーム、バーチャルリアリティーに大きな恩恵をもたらす。
しかし、人間と人間の相互作用におけるこのような反応運動の合成は、2人の人間が対話できる様々な方法のために難しい課題である。
単一の人間の行動の合成にGAN(generative adversarial Network)を適用する研究は成功しているが、人間と人間の相互作用をモデル化する研究はほとんどない。
本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。
私たちの重要な洞察は2つある。
まず、人間の動作の複雑な時空間情報を効果的に符号化するために、各手足の時間移動を効果的にモデル化できるように、パートベース長短期記憶(LSTM)モジュールでジェネレータを増強する。
さらに、対話の時間的重要性を学習できるように注意モジュールを組み込むことにより、アクティブ-反応性運動対の時間的アライメントを高める。
第二に、異なる種類の相互作用の反応性運動は著しく異なる可能性があるため、生成した動きが現実的かどうかを示すだけでなく、相互作用のクラスラベルも示す判別器を導入する。
これにより、ジェネレータのトレーニングを監督するためにそのようなラベルを使用することができる。
我々はSBUとHHOIデータセットを実験した。
合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
関連論文リスト
- ReMoS: Reactive 3D Motion Synthesis for Two-Person Interactions [71.74348331841057]
本稿では,反応運動合成のための拡散型確率モデルReMoSを紹介する。
本稿では,ペアダンス,忍術,キックボクシング,アクロバティックスなど,多岐にわたる難解な2人シナリオ下でのReMoSの性能を示す。
この結果はインタラクティブなアプリケーションでも利用でき、アニメーターに十分な量の制御を提供する。
論文 参考訳(メタデータ) (2023-11-28T18:59:52Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳(メタデータ) (2023-07-24T12:21:33Z) - NIFTY: Neural Object Interaction Fields for Guided Human Motion
Synthesis [21.650091018774972]
我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。
この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。
いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-07-14T17:59:38Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex
Interactions [52.67456181120208]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳(メタデータ) (2023-04-12T08:12:29Z) - IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object
Interactions [69.95820880360345]
そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。
本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。
その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
論文 参考訳(メタデータ) (2022-12-14T23:59:24Z) - PaCMO: Partner Dependent Human Motion Generation in Dyadic Human
Activity using Neural Operators [20.45590914720127]
機能空間におけるパートナーの動きによって条件付けられた人間の動きの分布を学習するニューラル演算子に基づく生成モデルを提案する。
我々のモデルは任意の時間分解能で長いラベルのないアクションシーケンスを処理できる。
NTU RGB+DとDuetDanceのデータセット上でPaCMOを検証し,現実的な結果を得た。
論文 参考訳(メタデータ) (2022-11-25T22:20:11Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-07-04T19:30:41Z) - Synthesis and Execution of Communicative Robotic Movements with
Generative Adversarial Networks [59.098560311521034]
我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。
我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。
我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
論文 参考訳(メタデータ) (2022-03-29T15:03:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。