論文の概要: Interaction Mix and Match: Synthesizing Close Interaction using Conditional Hierarchical GAN with Multi-Hot Class Embedding

• arxiv url: http://arxiv.org/abs/2208.00774v2
• Date: Thu, 4 Aug 2022 12:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-07 14:26:34.673903
• Title: Interaction Mix and Match: Synthesizing Close Interaction using Conditional Hierarchical GAN with Multi-Hot Class Embedding
• Title（参考訳）: 相互作用混合とマッチング:条件付き階層型GANとマルチホットクラス埋め込みを用いた密接な相互作用の合成
• Authors: Aman Goel, Qianhui Men, Edmond S. L. Ho
• Abstract要約: 本研究では,異なる種類の密接な相互作用を混合し,マッチングすることで,リアルな人間の反応運動を作り出す新しい方法を提案する。 実験はノイズ(深度ベース)と高品質(リバーサベース)の相互作用データセットの両方で実施される。
• 参考スコア（独自算出の注目度）: 4.864897201841002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing multi-character interactions is a challenging task due to the complex and varied interactions between the characters. In particular, precise spatiotemporal alignment between characters is required in generating close interactions such as dancing and fighting. Existing work in generating multi-character interactions focuses on generating a single type of reactive motion for a given sequence which results in a lack of variety of the resultant motions. In this paper, we propose a novel way to create realistic human reactive motions which are not presented in the given dataset by mixing and matching different types of close interactions. We propose a Conditional Hierarchical Generative Adversarial Network with Multi-Hot Class Embedding to generate the Mix and Match reactive motions of the follower from a given motion sequence of the leader. Experiments are conducted on both noisy (depth-based) and high-quality (MoCap-based) interaction datasets. The quantitative and qualitative results show that our approach outperforms the state-of-the-art methods on the given datasets. We also provide an augmented dataset with realistic reactive motions to stimulate future research in this area. The code is available at https://github.com/Aman-Goel1/IMM
• Abstract（参考訳）: マルチキャラクタインタラクションの合成は、キャラクタ間の複雑で多様なインタラクションのため、難しいタスクである。 特に、踊りやケンカなどの密接な相互作用を生成するには、文字間の正確な時空間的アライメントが必要である。 マルチキャラクタインタラクションの生成に関する既存の作業は、与えられたシーケンスに対して単一のタイプのリアクティブモーションを生成することに焦点を当てている。 本稿では,異なる種類の密接な相互作用を混合しマッチングすることにより,与えられたデータセットに表示されないリアルな人間の反応運動を生成する新しい方法を提案する。 本稿では,複数のホットクラスを組込みした条件付き階層型生成型逆ネットワークを提案する。 ノイズ(奥行きベース)と高品質(モキャップベース)の相互作用データセットの両方で実験を行う。 定量的および定性的な結果は,提案手法が与えられたデータセットの最先端手法より優れていることを示している。 また、この領域における将来の研究を促進するために、現実的なリアクティブな動きを持つ拡張データセットも提供します。 コードはhttps://github.com/Aman-Goel1/IMMで入手できる。

関連論文リスト

• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Interaction Transformer for Human Reaction Generation [61.22481606720487]
  本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。 我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-07-04T19:30:41Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• Dynamic Representation Learning with Temporal Point Processes for Higher-Order Interaction Forecasting [8.680676599607123]
  本稿では,これらの問題に対処するためのハイパーエッジ予測のための時間点プロセスモデルを提案する。 私たちの知る限りでは、動的ネットワークのハイパーエッジを予測するために時間点プロセスを使った最初の研究である。
  論文  参考訳（メタデータ） (2021-12-19T14:24:37Z)
• GAN-based Reactive Motion Synthesis with Class-aware Discriminators for Human-human Interaction [14.023527193608144]
  本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。 合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
  論文  参考訳（メタデータ） (2021-10-01T13:13:07Z)
• Unlimited Neighborhood Interaction for Heterogeneous Trajectory Prediction [97.40338982628094]
  マルチプライカテゴリにおける異種エージェントの軌跡を予測できる,シンプルで効果的な非境界相互作用ネットワーク (UNIN) を提案する。 具体的には、提案した無制限近傍相互作用モジュールは、相互作用に関与するすべてのエージェントの融合特徴を同時に生成する。 階層型グラフアテンションモジュールを提案し,カテゴリ間相互作用とエージェント間相互作用を求める。
  論文  参考訳（メタデータ） (2021-07-31T13:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。