論文の概要: GAN-based Reactive Motion Synthesis with Class-aware Discriminators for
Human-human Interaction
- arxiv url: http://arxiv.org/abs/2110.00380v1
- Date: Fri, 1 Oct 2021 13:13:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 14:28:28.248526
- Title: GAN-based Reactive Motion Synthesis with Class-aware Discriminators for
Human-human Interaction
- Title(参考訳): 対人インタラクションのためのクラス認識識別器を用いたGANに基づく反応運動合成
- Authors: Qianhui Men, Hubert P. H. Shum, Edmond S. L. Ho, Howard Leung
- Abstract要約: 本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。
合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
- 参考スコア(独自算出の注目度): 14.023527193608144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating realistic characters that can react to the users' or another
character's movement can benefit computer graphics, games and virtual reality
hugely. However, synthesizing such reactive motions in human-human interactions
is a challenging task due to the many different ways two humans can interact.
While there are a number of successful researches in adapting the generative
adversarial network (GAN) in synthesizing single human actions, there are very
few on modelling human-human interactions. In this paper, we propose a
semi-supervised GAN system that synthesizes the reactive motion of a character
given the active motion from another character. Our key insights are two-fold.
First, to effectively encode the complicated spatial-temporal information of a
human motion, we empower the generator with a part-based long short-term memory
(LSTM) module, such that the temporal movement of different limbs can be
effectively modelled. We further include an attention module such that the
temporal significance of the interaction can be learned, which enhances the
temporal alignment of the active-reactive motion pair. Second, as the reactive
motion of different types of interactions can be significantly different, we
introduce a discriminator that not only tells if the generated movement is
realistic or not, but also tells the class label of the interaction. This
allows the use of such labels in supervising the training of the generator. We
experiment with the SBU and the HHOI datasets. The high quality of the
synthetic motion demonstrates the effective design of our generator, and the
discriminability of the synthesis also demonstrates the strength of our
discriminator.
- Abstract(参考訳): ユーザーや他のキャラクターの動きに反応できるリアルなキャラクターを作ることは、コンピュータグラフィックス、ゲーム、バーチャルリアリティーに大きな恩恵をもたらす。
しかし、人間と人間の相互作用におけるこのような反応運動の合成は、2人の人間が対話できる様々な方法のために難しい課題である。
単一の人間の行動の合成にGAN(generative adversarial Network)を適用する研究は成功しているが、人間と人間の相互作用をモデル化する研究はほとんどない。
本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。
私たちの重要な洞察は2つある。
まず、人間の動作の複雑な時空間情報を効果的に符号化するために、各手足の時間移動を効果的にモデル化できるように、パートベース長短期記憶(LSTM)モジュールでジェネレータを増強する。
さらに、対話の時間的重要性を学習できるように注意モジュールを組み込むことにより、アクティブ-反応性運動対の時間的アライメントを高める。
第二に、異なる種類の相互作用の反応性運動は著しく異なる可能性があるため、生成した動きが現実的かどうかを示すだけでなく、相互作用のクラスラベルも示す判別器を導入する。
これにより、ジェネレータのトレーニングを監督するためにそのようなラベルを使用することができる。
我々はSBUとHHOIデータセットを実験した。
合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
関連論文リスト
- Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
Sitcom-Crafterは3D空間における人間のモーション生成システムである。
機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。
拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
論文 参考訳(メタデータ) (2024-10-14T17:56:19Z) - ReGenNet: Towards Human Action-Reaction Synthesis [87.57721371471536]
我々は、人間と人間の相互作用の非対称、動的、同期、および詳細な性質を分析する。
本研究では,人間の行動に条件付けされた人間の反応を生成するための,最初のマルチセットヒト行動反応ベンチマークを提案する。
論文 参考訳(メタデータ) (2024-03-18T15:33:06Z) - ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。
ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。
また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
論文 参考訳(メタデータ) (2023-11-28T18:59:52Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳(メタデータ) (2023-11-27T14:32:33Z) - NIFTY: Neural Object Interaction Fields for Guided Human Motion
Synthesis [21.650091018774972]
我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。
この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。
いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-07-14T17:59:38Z) - IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object
Interactions [69.95820880360345]
そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。
本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。
その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
論文 参考訳(メタデータ) (2022-12-14T23:59:24Z) - PaCMO: Partner Dependent Human Motion Generation in Dyadic Human
Activity using Neural Operators [20.45590914720127]
機能空間におけるパートナーの動きによって条件付けられた人間の動きの分布を学習するニューラル演算子に基づく生成モデルを提案する。
我々のモデルは任意の時間分解能で長いラベルのないアクションシーケンスを処理できる。
NTU RGB+DとDuetDanceのデータセット上でPaCMOを検証し,現実的な結果を得た。
論文 参考訳(メタデータ) (2022-11-25T22:20:11Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-07-04T19:30:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。