論文の概要: PRIMAL: Physically Reactive and Interactive Motor Model for Avatar Learning
- arxiv url: http://arxiv.org/abs/2503.17544v2
- Date: Sat, 02 Aug 2025 13:13:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 14:07:56.492875
- Title: PRIMAL: Physically Reactive and Interactive Motor Model for Avatar Learning
- Title(参考訳): PRIMAL:アバター学習のための物理反応・対話型モーターモデル
- Authors: Yan Zhang, Yao Feng, Alpár Cseke, Nitin Saini, Nathan Bajandas, Nicolas Heron, Michael J. Black,
- Abstract要約: 我々は,対話型アバターの運動系を生成運動モデルとして定式化する。
基礎モデルの最近の進歩に触発されて,我々はPRIMALを提案する。
このモデルを利用して、Unreal Engineでリアルタイムのキャラクターアニメーションシステムを作成します。
- 参考スコア(独自算出の注目度): 38.004463823796286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We formulate the motor system of an interactive avatar as a generative motion model that can drive the body to move through 3D space in a perpetual, realistic, controllable, and responsive manner. Although human motion generation has been extensively studied, many existing methods lack the responsiveness and realism of real human movements. Inspired by recent advances in foundation models, we propose PRIMAL, which is learned with a two-stage paradigm. In the pretraining stage, the model learns body movements from a large number of sub-second motion segments, providing a generative foundation from which more complex motions are built. This training is fully unsupervised without annotations. Given a single-frame initial state during inference, the pretrained model not only generates unbounded, realistic, and controllable motion, but also enables the avatar to be responsive to induced impulses in real time. In the adaptation phase, we employ a novel ControlNet-like adaptor to fine-tune the base model efficiently, adapting it to new tasks such as few-shot personalized action generation and spatial target reaching. Evaluations show that our proposed method outperforms state-of-the-art baselines. We leverage the model to create a real-time character animation system in Unreal Engine that feels highly responsive and natural. Code, models, and more results are available at: https://yz-cnsdqz.github.io/eigenmotion/PRIMAL
- Abstract(参考訳): 我々は, 対話型アバターの運動系を生成運動モデルとして定式化し, 物体を永久的, 現実的, 制御可能, 応答的に3次元空間を移動させることができる。
ヒトの運動生成は広く研究されているが、既存の多くの方法は実際の人間の運動の応答性とリアリズムを欠いている。
基礎モデルの最近の進歩に触発され、2段階のパラダイムで学習したPRIMALを提案する。
プレトレーニング段階では、モデルは多数のサブ秒動作セグメントから体の動きを学習し、より複雑な動きが構築される生成基盤を提供する。
このトレーニングはアノテーションなしで完全に教師なしです。
推論中に単一フレームの初期状態が与えられると、事前訓練されたモデルは、非有界で現実的で制御可能な動きを生成するだけでなく、リアルタイムで誘導されたインパルスに応答するアバターを可能にする。
適応段階では、制御ネットのような新しい適応器を用いてベースモデルを効率よく微調整し、少数ショットのパーソナライズされたアクション生成や空間的目標到達といった新しいタスクに適応する。
評価の結果,提案手法は最先端のベースラインよりも優れていた。
このモデルを利用して、Unreal Engineでリアルタイムのキャラクターアニメーションシステムを作成します。
コード、モデル、さらに多くの結果が、https://yz-cnsdqz.github.io/eigenmotion/PRIMALで入手できる。
関連論文リスト
- KungfuBot: Physics-Based Humanoid Whole-Body Control for Learning Highly-Dynamic Skills [50.34487144149439]
そこで本研究では,Kungfuやダンスなどの人体動作を高度に制御することを目的とした,物理学に基づくヒューマノイド制御フレームワークを提案する。
動作処理では,運動の抽出,フィルタリング,修正,再ターゲティングを行うパイプラインを設計し,物理的制約の遵守を確実にする。
動作模倣では、二段階最適化問題を定式化し、追従精度の許容度を動的に調整する。
実験では,高ダイナミックな動作のセットを模倣するために全身制御ポリシーを訓練する。
論文 参考訳(メタデータ) (2025-06-15T13:58:53Z) - GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。
我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。
我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
論文 参考訳(メタデータ) (2025-05-02T17:59:55Z) - A Self-supervised Motion Representation for Portrait Video Generation [19.56640370303683]
本稿では,コンパクトかつ表現力のある動き表現であるセマンティックラテントモーション(SeMo)を提案する。
提案手法は,高品質な視覚的結果と効率的な推論を両立させる。
我々のアプローチは、現実主義の81%の勝利率を持つ最先端モデルを上回る。
論文 参考訳(メタデータ) (2025-03-13T06:43:21Z) - Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。
条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。
実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
論文 参考訳(メタデータ) (2025-02-10T14:49:09Z) - Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。
ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。
我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
論文 参考訳(メタデータ) (2024-12-03T18:59:56Z) - ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model [9.525806425270428]
本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。
動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。
我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
論文 参考訳(メタデータ) (2024-10-09T16:24:11Z) - HUMOS: Human Motion Model Conditioned on Body Shape [54.20419874234214]
身体形状に基づく生成運動モデルを構築するための新しいアプローチを提案する。
非ペアデータを使ってこのモデルをトレーニングすることが可能であることを示す。
得られたモデルは、多種多様で、物理的に妥当で、動的に安定した人間の動きを生成する。
論文 参考訳(メタデータ) (2024-09-05T23:50:57Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳(メタデータ) (2023-12-08T16:31:04Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳(メタデータ) (2023-10-06T20:48:43Z) - DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics [21.00283279991885]
DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。
様々な動作タスクや様々な物理的摂動にまたがってモデルを広範囲に評価し、応答のスケーラビリティと多様性を実証する。
論文 参考訳(メタデータ) (2023-09-24T20:25:59Z) - Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。
我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。
本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
論文 参考訳(メタデータ) (2023-06-01T07:48:34Z) - An Adaptable Approach to Learn Realistic Legged Locomotion without
Examples [38.81854337592694]
本研究は,バネ装荷逆振り子モデルを用いて学習プロセスを導くことで,移動における現実性を保証するための汎用的アプローチを提案する。
モデルのない設定であっても、2足歩行ロボットと4足歩行ロボットに対して、学習したポリシーが現実的でエネルギー効率のよい移動歩行を生成できることを示す実験結果を示す。
論文 参考訳(メタデータ) (2021-10-28T10:14:47Z) - Character Controllers Using Motion VAEs [9.806910643086045]
動きのvaesを用いて,人間の運動のデータ駆動生成モデルを学ぶ。
計画や制御アルゴリズムは、このアクション空間を使って望ましい動きを生成することができる。
論文 参考訳(メタデータ) (2021-03-26T05:51:41Z) - UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。
UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
論文 参考訳(メタデータ) (2020-11-30T18:51:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。