論文の概要: DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics
- arxiv url: http://arxiv.org/abs/2309.13742v1
- Date: Sun, 24 Sep 2023 20:25:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 17:53:47.876336
- Title: DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics
- Title（参考訳）: DROP:人間の運動からのダイナミクス応答と投影ダイナミクス
- Authors: Yifeng Jiang, Jungdam Won, Yuting Ye, C. Karen Liu
- Abstract要約: DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。
様々な動作タスクや様々な物理的摂動にまたがってモデルを広範囲に評価し、応答のスケーラビリティと多様性を実証する。
- 参考スコア（独自算出の注目度）: 21.00283279991885
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Synthesizing realistic human movements, dynamically responsive to the
environment, is a long-standing objective in character animation, with
applications in computer vision, sports, and healthcare, for motion prediction
and data augmentation. Recent kinematics-based generative motion models offer
impressive scalability in modeling extensive motion data, albeit without an
interface to reason about and interact with physics. While
simulator-in-the-loop learning approaches enable highly physically realistic
behaviors, the challenges in training often affect scalability and adoption. We
introduce DROP, a novel framework for modeling Dynamics Responses of humans
using generative mOtion prior and Projective dynamics. DROP can be viewed as a
highly stable, minimalist physics-based human simulator that interfaces with a
kinematics-based generative motion prior. Utilizing projective dynamics, DROP
allows flexible and simple integration of the learned motion prior as one of
the projective energies, seamlessly incorporating control provided by the
motion prior with Newtonian dynamics. Serving as a model-agnostic plug-in, DROP
enables us to fully leverage recent advances in generative motion models for
physics-based motion synthesis. We conduct extensive evaluations of our model
across different motion tasks and various physical perturbations, demonstrating
the scalability and diversity of responses.
- Abstract（参考訳）: 環境に動的に反応する現実的な人間の動きを合成することは、コンピュータビジョン、スポーツ、医療に応用し、動きの予測とデータ拡張のためのキャラクターアニメーションにおける長年の目標である。
最近のキネマティックスベースの生成運動モデルは、物理を推論し相互作用するインターフェースがないにもかかわらず、広範囲な動きデータのモデリングにおいて印象的なスケーラビリティを提供する。
シミュレーター・イン・ザ・ループ学習のアプローチは、高度に物理的に現実的な行動を可能にするが、トレーニングにおける課題はしばしばスケーラビリティと採用に影響を与える。
DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。
DROPは、キネマティックスに基づく生成運動に先立ってインターフェースする、非常に安定で最小限の物理に基づく人間シミュレータと見なすことができる。
射影力学を利用すると、DROPは学習した運動の柔軟で単純な積分を射影エネルギーの1つとして実現し、ニュートン力学に先立って得られる運動の制御をシームレスに組み込む。
DROPは、モデルに依存しないプラグインとして、物理に基づく運動合成のための生成運動モデルにおける最近の進歩をフル活用することができる。
様々な動作タスクと様々な物理的摂動をまたいで,モデルの広範な評価を行い,応答のスケーラビリティと多様性を実証した。
関連論文リスト
- Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。
条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。
実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
論文 参考訳（メタデータ） (2025-02-10T14:49:09Z) - FlexMotion: Lightweight, Physics-Aware, and Controllable Human Motion Generation [12.60677181866807]
本稿では,潜在空間で動作する計算的に軽量な拡散モデルを利用する新しいフレームワークを提案する。
FlexMotionは、マルチモーダルで事前訓練されたトランスフォーマーエンコーダデコーダを採用し、関節位置、接触力、関節のアクティベーション、筋肉の活性化を統合している。
拡張データセット上でFlexMotionを評価し、現実性、物理的妥当性、制御性の観点からその優れた性能を示す。
論文 参考訳（メタデータ） (2025-01-28T08:02:21Z) - InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。
私たちの重要な洞察は、大規模ビデオデータからインタラクティブなダイナミクスを学習することで、大きなビデオファンデーションモデルがニューラルと暗黙の物理シミュレータの両方として機能できるということです。
論文 参考訳（メタデータ） (2024-12-16T13:57:02Z) - Morph: A Motion-free Physics Optimization Framework for Human Motion Generation [25.51726849102517]
我々のフレームワークは、身体的可視性を大幅に向上させながら、最先端のモーション生成品質を実現する。
テキスト・トゥ・モーション・アンド・ミュージック・トゥ・ダンス・ジェネレーション・タスクの実験は、我々のフレームワークが最先端のモーション・ジェネレーション・クオリティを達成することを示す。
論文 参考訳（メタデータ） (2024-11-22T14:09:56Z) - Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。
リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。
提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
論文 参考訳（メタデータ） (2024-10-10T10:24:59Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳（メタデータ） (2024-03-13T15:45:04Z) - Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。
提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。
その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-09-21T01:57:54Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z) - UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。
UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
論文 参考訳（メタデータ） (2020-11-30T18:51:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。