論文の概要: Skeleton2Humanoid: Animating Simulated Characters for
Physically-plausible Motion In-betweening
- arxiv url: http://arxiv.org/abs/2210.04294v1
- Date: Sun, 9 Oct 2022 16:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 17:47:52.491673
- Title: Skeleton2Humanoid: Animating Simulated Characters for
Physically-plausible Motion In-betweening
- Title（参考訳）: Skeleton2Humanoid: 物体間移動のシミュレーションキャラクター
- Authors: Yunhao Li, Zhenbo Yu, Yucheng Zhu, Bingbing Ni, Guangtao Zhai, Wei
Shen
- Abstract要約: 現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。
テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。
挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
- 参考スコア（独自算出の注目度）: 59.88594294676711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human motion synthesis is a long-standing problem with various applications
in digital twins and the Metaverse. However, modern deep learning based motion
synthesis approaches barely consider the physical plausibility of synthesized
motions and consequently they usually produce unrealistic human motions. In
order to solve this problem, we propose a system ``Skeleton2Humanoid'' which
performs physics-oriented motion correction at test time by regularizing
synthesized skeleton motions in a physics simulator. Concretely, our system
consists of three sequential stages: (I) test time motion synthesis network
adaptation, (II) skeleton to humanoid matching and (III) motion imitation based
on reinforcement learning (RL). Stage I introduces a test time adaptation
strategy, which improves the physical plausibility of synthesized human
skeleton motions by optimizing skeleton joint locations. Stage II performs an
analytical inverse kinematics strategy, which converts the optimized human
skeleton motions to humanoid robot motions in a physics simulator, then the
converted humanoid robot motions can be served as reference motions for the RL
policy to imitate. Stage III introduces a curriculum residual force control
policy, which drives the humanoid robot to mimic complex converted reference
motions in accordance with the physical law. We verify our system on a typical
human motion synthesis task, motion-in-betweening. Experiments on the
challenging LaFAN1 dataset show our system can outperform prior methods
significantly in terms of both physical plausibility and accuracy. Code will be
released for research purposes at:
https://github.com/michaelliyunhao/Skeleton2Humanoid
- Abstract（参考訳）: ヒトの運動合成は、デジタル双生児やメタバースにおける様々な応用における長年の問題である。
しかし、現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮せず、したがって通常非現実的な人間の運動を生成する。
そこで本研究では, 物理シミュレータにおける合成骨格運動を正規化することにより, 物理指向の動作補正を行うシステム「Skeleton2Humanoid」を提案する。
具体的には, (I) テスト時間運動合成ネットワーク適応, (II) ヒューマノイドマッチングへの骨格, (III) 強化学習に基づく動作模倣の3段階からなる。
ステージIでは, 骨格関節位置を最適化することにより, 合成ヒト骨格運動の物理的妥当性を向上させるテスト時間適応戦略を導入する。
段階IIでは、最適化された人間の骨格運動を物理シミュレーターのヒューマノイドロボット運動に変換する解析的逆運動学戦略を実行し、変換されたヒューマノイドロボット運動を模倣するRLポリシーの参照運動として利用することができる。
段階IIIでは,ヒューマノイドロボットが物理法則に従って複雑な変換された参照動作を模倣する,カリキュラムの残留力制御ポリシーを導入する。
本システムでは,人間の運動合成タスクであるモーション・イン・インター・インターホンを用いて検証を行う。
挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方において、我々のシステムが先行手法を大幅に上回ることを示す。
https://github.com/michaelliyunhao/Skeleton2Humanoid
関連論文リスト
- Morph: A Motion-free Physics Optimization Framework for Human Motion Generation [25.51726849102517]
我々のフレームワークは、身体的可視性を大幅に向上させながら、最先端のモーション生成品質を実現する。
テキスト・トゥ・モーション・アンド・ミュージック・トゥ・ダンス・ジェネレーション・タスクの実験は、我々のフレームワークが最先端のモーション・ジェネレーション・クオリティを達成することを示す。
論文 参考訳（メタデータ） (2024-11-22T14:09:56Z) - PhysReaction: Physically Plausible Real-Time Humanoid Reaction Synthesis via Forward Dynamics Guided 4D Imitation [19.507619255773125]
物理的に可塑性なヒト様反応を生成するフォワードダイナミクスガイド4Dイミテーション法を提案する。
学習されたポリシーは、物理的に可塑性で人間に似た反応をリアルタイムで生成し、速度(x33)と反応の質を著しく改善する。
論文 参考訳（メタデータ） (2024-04-01T12:21:56Z) - ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。
ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。
また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
論文 参考訳（メタデータ） (2023-11-28T18:59:52Z) - DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳（メタデータ） (2023-11-28T18:58:48Z) - GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。
GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。
運動と地面への距離変化との整合性を明確に促進するように訓練されている。
論文 参考訳（メタデータ） (2023-06-29T07:22:20Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳（メタデータ） (2023-03-23T09:31:56Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳（メタデータ） (2022-10-12T19:46:25Z) - Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。
提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。
その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-09-21T01:57:54Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z) - Residual Force Control for Agile Human Behavior Imitation and Extended
Motion Synthesis [32.22704734791378]
強化学習は、モーションキャプチャーデータからヒューマノイド制御ポリシーを学習することで、現実的な人間の行動に大きな可能性を示してきた。
バレエダンスのような洗練された人間のスキルを再現することや、複雑な移行を伴う長期的な人間の振る舞いを安定して模倣することは、依然として非常に困難である。
動作空間に外部残留力を加えることでヒューマノイド制御ポリシーを強化する新しいアプローチである残留力制御(RFC)を提案する。
論文 参考訳（メタデータ） (2020-06-12T17:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。