論文の概要: PRIMAL: Physically Reactive and Interactive Motor Model for Avatar Learning

• arxiv url: http://arxiv.org/abs/2503.17544v1
• Date: Fri, 21 Mar 2025 21:27:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:52.798232
• Title: PRIMAL: Physically Reactive and Interactive Motor Model for Avatar Learning
• Title（参考訳）: PRIMAL:アバター学習のための物理反応・対話型モーターモデル
• Authors: Yan Zhang, Yao Feng, Alpár Cseke, Nitin Saini, Nathan Bajandas, Nicolas Heron, Michael J. Black,
• Abstract要約: 2段階のパラダイムで学習した自己回帰拡散モデルであるPRIMALを提案する。 事前学習段階において、モデルは多数のサブ秒動作セグメントから運動力学を学習する。 適応段階では、制御ネットのような適応器を用いて、セマンティックアクション生成と空間的目標到達のためのモータ制御を微調整する。
• 参考スコア（独自算出の注目度）: 38.004463823796286
• License:
• Abstract: To build a motor system of the interactive avatar, it is essential to develop a generative motion model drives the body to move through 3D space in a perpetual, realistic, controllable, and responsive manner. Although motion generation has been extensively studied, most methods do not support ``embodied intelligence'' due to their offline setting, slow speed, limited motion lengths, or unnatural movements. To overcome these limitations, we propose PRIMAL, an autoregressive diffusion model that is learned with a two-stage paradigm, inspired by recent advances in foundation models. In the pretraining stage, the model learns motion dynamics from a large number of sub-second motion segments, providing ``motor primitives'' from which more complex motions are built. In the adaptation phase, we employ a ControlNet-like adaptor to fine-tune the motor control for semantic action generation and spatial target reaching. Experiments show that physics effects emerge from our training. Given a single-frame initial state, our model not only generates unbounded, realistic, and controllable motion, but also enables the avatar to be responsive to induced impulses in real time. In addition, we can effectively and efficiently adapt our base model to few-shot personalized actions and the task of spatial control. Evaluations show that our proposed method outperforms state-of-the-art baselines. We leverage the model to create a real-time character animation system in Unreal Engine that is highly responsive and natural. Code, models, and more results are available at: https://yz-cnsdqz.github.io/eigenmotion/PRIMAL
• Abstract（参考訳）: 対話型アバターのモーターシステムを構築するためには, 物体を永久的, 現実的, 制御可能, 応答的に3次元空間を移動させる生成運動モデルを開発することが不可欠である。 動作生成は広く研究されているが、ほとんどの手法は、オフラインの設定、遅い速度、限られた動きの長さ、または不自然な動きのために 'embodied Intelligence'' をサポートしていない。 これらの制約を克服するために,基礎モデルの最近の進歩に触発されて,2段階のパラダイムで学習された自己回帰拡散モデルであるPRIMALを提案する。 事前学習段階では、モデルは多数のサブ秒動作セグメントから運動力学を学習し、より複雑な動きが構築される '`motor primitives'' を提供する。 適応段階では、制御ネットのような適応器を用いて、セマンティックアクション生成と空間的目標到達のためのモータ制御を微調整する。 実験では、物理効果がトレーニングから生まれることが示されています。 単一フレームの初期状態が与えられた場合、我々のモデルは非有界で現実的で制御可能な動きを生成できるだけでなく、誘導されたインパルスに対してリアルタイムでアバターを応答させることができる。 さらに, 空間制御の課題として, 少数のパーソナライズされた行動に, ベースモデルを効果的かつ効率的に適応させることができる。 評価の結果,提案手法は最先端のベースラインよりも優れていた。 このモデルを利用して、Unreal Engineでリアルタイムのキャラクタアニメーションシステムを作成します。 コード、モデル、さらに多くの結果が、https://yz-cnsdqz.github.io/eigenmotion/PRIMALで入手できる。

関連論文リスト

• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
  スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。 ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。 我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:56Z)
• ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model [9.525806425270428]
  本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。 動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。 我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-09T16:24:11Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics [21.00283279991885]
  DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。 様々な動作タスクや様々な物理的摂動にまたがってモデルを広範囲に評価し、応答のスケーラビリティと多様性を実証する。
  論文  参考訳（メタデータ） (2023-09-24T20:25:59Z)
• An Adaptable Approach to Learn Realistic Legged Locomotion without Examples [38.81854337592694]
  本研究は,バネ装荷逆振り子モデルを用いて学習プロセスを導くことで,移動における現実性を保証するための汎用的アプローチを提案する。 モデルのない設定であっても、2足歩行ロボットと4足歩行ロボットに対して、学習したポリシーが現実的でエネルギー効率のよい移動歩行を生成できることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-28T10:14:47Z)
• Character Controllers Using Motion VAEs [9.806910643086045]
  動きのvaesを用いて,人間の運動のデータ駆動生成モデルを学ぶ。 計画や制御アルゴリズムは、このアクション空間を使って望ましい動きを生成することができる。
  論文  参考訳（メタデータ） (2021-03-26T05:51:41Z)
• UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
  大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。 UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
  論文  参考訳（メタデータ） (2020-11-30T18:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。