論文の概要: PhysReaction: Physically Plausible Real-Time Humanoid Reaction Synthesis via Forward Dynamics Guided 4D Imitation

• arxiv url: http://arxiv.org/abs/2404.01081v1
• Date: Mon, 1 Apr 2024 12:21:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:35:23.882898
• Title: PhysReaction: Physically Plausible Real-Time Humanoid Reaction Synthesis via Forward Dynamics Guided 4D Imitation
• Title（参考訳）: PhysReaction:フォワードダイナミクスによる物理的にプラズブルなリアルタイムヒューマノイド反応合成
• Authors: Yunze Liu, Changxi Chen, Chenjing Ding, Li Yi,
• Abstract要約: 物理的に可塑性なヒト様反応を生成するフォワードダイナミクスガイド4Dイミテーション法を提案する。 学習されたポリシーは、物理的に可塑性で人間に似た反応をリアルタイムで生成し、速度(x33)と反応の質を著しく改善する。
• 参考スコア（独自算出の注目度）: 19.507619255773125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humanoid Reaction Synthesis is pivotal for creating highly interactive and empathetic robots that can seamlessly integrate into human environments, enhancing the way we live, work, and communicate. However, it is difficult to learn the diverse interaction patterns of multiple humans and generate physically plausible reactions. The kinematics-based approaches face challenges, including issues like floating feet, sliding, penetration, and other problems that defy physical plausibility. The existing physics-based method often relies on kinematics-based methods to generate reference states, which struggle with the challenges posed by kinematic noise during action execution. Constrained by their reliance on diffusion models, these methods are unable to achieve real-time inference. In this work, we propose a Forward Dynamics Guided 4D Imitation method to generate physically plausible human-like reactions. The learned policy is capable of generating physically plausible and human-like reactions in real-time, significantly improving the speed(x33) and quality of reactions compared with the existing method. Our experiments on the InterHuman and Chi3D datasets, along with ablation studies, demonstrate the effectiveness of our approach.
• Abstract（参考訳）: ヒューマノイド反応合成は、人間の環境にシームレスに統合し、私たちの生活、働き、コミュニケーションの方法を強化する、高度にインタラクティブで共感的なロボットを作るための重要な要素だ。 しかし、複数の人間の多様な相互作用パターンを学習し、物理的に妥当な反応を生成することは困難である。 キネマティクスをベースとしたアプローチは、浮き足、滑走、浸透、その他の物理的妥当性を損なう問題など、課題に直面している。 既存の物理学に基づく手法は、しばしば、動作実行中にキネマティックノイズによって引き起こされる課題に対処する参照状態を生成するキネマティックスに基づく手法に依存している。 拡散モデルに依存しているため、これらの手法はリアルタイムな推論を達成できない。 本研究では, 物理的に可塑性なヒト様反応を生成するフォワードダイナミクスガイド4Dイミテーション法を提案する。 学習されたポリシーは、物理的に可塑性で人間に似た反応をリアルタイムで生成することができ、既存の方法と比較して、速度(x33)と反応の質を著しく向上させることができる。 InterHumanとChi3Dデータセットに関する実験は、アブレーション研究とともに、我々のアプローチの有効性を実証した。

関連論文リスト

• ReGenNet: Towards Human Action-Reaction Synthesis [87.57721371471536]
  我々は、人間と人間の相互作用の非対称、動的、同期、および詳細な性質を分析する。 本研究では,人間の行動に条件付けされた人間の反応を生成するための,最初のマルチセットヒト行動反応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-03-18T15:33:06Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening [59.88594294676711]
  現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。 テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。 挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2022-10-09T16:15:34Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
  DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。 モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-24T17:58:37Z)
• Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
  単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。 提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。 その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-09-21T01:57:54Z)
• Scene-aware Generative Network for Human Motion Synthesis [125.21079898942347]
  シーンと人間の動きの相互作用を考慮した新しい枠組みを提案する。 人間の動きの不確実性を考慮すると、このタスクを生成タスクとして定式化する。 我々は、人間の動きと文脈シーンとの整合性を強制するための識別器を備えた、GANに基づく学習アプローチを導出する。
  論文  参考訳（メタデータ） (2021-05-31T09:05:50Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。