論文の概要: ReGenNet: Towards Human Action-Reaction Synthesis

• arxiv url: http://arxiv.org/abs/2403.11882v1
• Date: Mon, 18 Mar 2024 15:33:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 19:50:22.598781
• Title: ReGenNet: Towards Human Action-Reaction Synthesis
• Title（参考訳）: ReGenNet:人間の行動反応合成を目指して
• Authors: Liang Xu, Yizhou Zhou, Yichao Yan, Xin Jin, Wenhan Zhu, Fengyun Rao, Xiaokang Yang, Wenjun Zeng,
• Abstract要約: 我々は、人間と人間の相互作用の非対称、動的、同期、および詳細な性質を分析する。 本研究では,人間の行動に条件付けされた人間の反応を生成するための,最初のマルチセットヒト行動反応ベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 87.57721371471536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans constantly interact with their surrounding environments. Current human-centric generative models mainly focus on synthesizing humans plausibly interacting with static scenes and objects, while the dynamic human action-reaction synthesis for ubiquitous causal human-human interactions is less explored. Human-human interactions can be regarded as asymmetric with actors and reactors in atomic interaction periods. In this paper, we comprehensively analyze the asymmetric, dynamic, synchronous, and detailed nature of human-human interactions and propose the first multi-setting human action-reaction synthesis benchmark to generate human reactions conditioned on given human actions. To begin with, we propose to annotate the actor-reactor order of the interaction sequences for the NTU120, InterHuman, and Chi3D datasets. Based on them, a diffusion-based generative model with a Transformer decoder architecture called ReGenNet together with an explicit distance-based interaction loss is proposed to predict human reactions in an online manner, where the future states of actors are unavailable to reactors. Quantitative and qualitative results show that our method can generate instant and plausible human reactions compared to the baselines, and can generalize to unseen actor motions and viewpoint changes.
• Abstract（参考訳）: 人間は周囲の環境と常に対話する。 現在のヒト中心生成モデルは、静的なシーンやオブジェクトとプラスティックに相互作用する人間の合成に重点を置いている一方、ユビキタスな因果的人間と人間の相互作用のための動的ヒトの行動-反応合成は、あまり研究されていない。 人間と人間の相互作用は、原子間相互作用期のアクターや反応器と非対称であると見なすことができる。 本稿では,人間と人間の相互作用の非対称性,動的性,同期性,詳細性を包括的に分析し,人間の行動に条件付けされた人間の反応を生成するための,最初のマルチセットヒト行動-反応合成ベンチマークを提案する。 まず,NTU120,InterHuman,Chi3Dデータセットに対して,対話シーケンスのアクター・リアクター順序をアノテートすることを提案する。 それらに基づいて,ReGenNetと呼ばれるトランスフォーマーデコーダアーキテクチャを用いた拡散型生成モデルを提案する。 定量的および定性的な結果から,本手法はベースラインと比較して即時かつ妥当な人間の反応を生成でき,アクターの動きや視点の変化を一般化できることが示された。

関連論文リスト

• PhysReaction: Physically Plausible Real-Time Humanoid Reaction Synthesis via Forward Dynamics Guided 4D Imitation [19.507619255773125]
  物理的に可塑性なヒト様反応を生成するフォワードダイナミクスガイド4Dイミテーション法を提案する。 学習されたポリシーは、物理的に可塑性で人間に似た反応をリアルタイムで生成し、速度(x33)と反応の質を著しく改善する。
  論文  参考訳（メタデータ） (2024-04-01T12:21:56Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• Robot Interaction Behavior Generation based on Social Motion Forecasting for Human-Robot Interaction [9.806227900768926]
  本稿では,共有ロボット表現空間における社会的動き予測のモデル化を提案する。 ECHOは上記の共有空間で活動し、社会的シナリオで遭遇したエージェントの将来の動きを予測する。 我々は,多対人動作予測タスクにおけるモデルの評価を行い,最先端の性能を大きなマージンで獲得する。
  論文  参考訳（メタデータ） (2024-02-07T11:37:14Z)
• Interactive Humanoid: Online Full-Body Motion Reaction Synthesis with Social Affordance Canonicalization and Forecasting [23.37555991996508]
  オンラインフルボディ・モーション・リアクション・シンセサイザーという新しいタスクを提案する。 ヒトのアクターの動きに基づいてヒューマノイド反応を発生させる。 このタスクをサポートするために,HHIとCoChairという2つのデータセットを構築した。
  論文  参考訳（メタデータ） (2023-12-14T14:29:52Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots [119.55240471433302]
  Habitat 3.0は、家庭環境における協調ロボットタスクを研究するためのシミュレーションプラットフォームである。 複雑な変形可能な体と外観と運動の多様性をモデル化する際の課題に対処する。 Human-in-the-loopインフラストラクチャは、マウス/キーボードまたはVRインターフェースを介してシミュレーションされたロボットとの実際のヒューマンインタラクションを可能にする。
  論文  参考訳（メタデータ） (2023-10-19T17:29:17Z)
• Data-driven emotional body language generation for social robotics [58.88028813371423]
  社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。 我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。 評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
  論文  参考訳（メタデータ） (2022-05-02T09:21:39Z)
• GAN-based Reactive Motion Synthesis with Class-aware Discriminators for Human-human Interaction [14.023527193608144]
  本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。 合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
  論文  参考訳（メタデータ） (2021-10-01T13:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。