論文の概要: MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

• arxiv url: http://arxiv.org/abs/2409.14393v1
• Date: Sun, 22 Sep 2024 11:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:52:52.947653
• Title: MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting
• Title（参考訳）: MaskedMimic: Masked Motion Inpaintingによる統一された物理ベースの文字制御
• Authors: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng,
• Abstract要約: MaskedMimicは、物理に基づく文字制御を一般的なモーションインペイント問題として定式化する新しいアプローチである。 MaskedMimicは、モーションインペイントによる文字制御を統一することにより、多目的な仮想文字を生成する。 これらのキャラクターは複雑なシーンに動的に適応し、必要に応じて多様な動きを構成でき、よりインタラクティブで没入的な体験を可能にする。
• 参考スコア（独自算出の注目度）: 38.15158715821526
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.
• Abstract（参考訳）: さまざまなシナリオにまたがって、対話的なキャラクターに人生を吹き込むことのできる、多用途な物理ベースのコントローラーを作れば、キャラクターアニメーションのエキサイティングなフロンティアになる。 理想的なコントローラは、スパースターゲットキーフレーム、テキスト命令、シーン情報など、多様な制御モダリティをサポートする必要がある。 以前の研究では、物理的にシミュレートされたシーン認識制御モデルが提案されていたが、これらのシステムは、それぞれのタスクの狭いセットと制御モダリティを専門とするコントローラの開発に主に焦点を絞っている。 この研究はMaskedMimicという、物理に基づく文字制御を一般的な運動インペイント問題として定式化する新しいアプローチを提示している。 私たちの重要な洞察は、マスクされたキーフレーム、オブジェクト、テキスト記述、あるいはそれらの組み合わせのような部分的な(マスキングされた)モーション記述から、モーションを合成するための単一の統一モデルをトレーニングすることです。 これは、動作追跡データを活用するとともに、多様な動作記述を効果的に活用してコヒーレントなアニメーションを生成するスケーラブルなトレーニング手法を設計することで実現される。 このプロセスを通じて,興味のあるすべての動作に対して面倒な報酬工学を必要とせず,直感的な制御インタフェースを提供する物理ベースのコントローラを学習する。 コントローラは幅広い制御モードをサポートし、異なるタスク間のシームレスな遷移を可能にする。 MaskedMimicは、モーションインペイントによる文字制御を統一することにより、多目的な仮想文字を生成する。 これらのキャラクターは複雑なシーンに動的に適応し、必要に応じて多様な動きを構成でき、よりインタラクティブで没入的な体験を可能にする。

関連論文リスト

• Programmable Motion Generation for Open-Set Motion Control Tasks [51.73738359209987]
  我々は新しいパラダイム、プログラム可能なモーション生成を導入する。 このパラダイムでは、任意の運動制御タスクは原子制約の組み合わせに分解される。 これらの制約は、運動列がそれに付着する程度を定量化するエラー関数にプログラムされる。
  論文  参考訳（メタデータ） (2024-05-29T17:14:55Z)
• Taming Diffusion Probabilistic Models for Character Control [46.52584236101806]
  本稿では,様々なユーザからの制御信号にリアルタイムで応答する新しい文字制御フレームワークを提案する。 本手法の核心は変圧器を用いた条件付き自己回帰運動拡散モデルである。 我々の研究は、高品質で多様なキャラクターアニメーションをリアルタイムに生成できる最初のモデルである。
  論文  参考訳（メタデータ） (2024-04-23T15:20:17Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• MoConVQ: Unified Physics-Based Motion Control via Scalable Discrete Representations [25.630268570049708]
  MoConVQは、スケーラブルな離散表現を活用する物理ベースのモーションコントロールのための新しい統合フレームワークである。 提案手法は,数十時間の動作例にまたがる大規模非構造データセットから,効果的に動作埋め込みを学習する。
  論文  参考訳（メタデータ） (2023-10-16T09:09:02Z)
• CALM: Conditional Adversarial Latent Models for Directable Virtual Characters [71.66218592749448]
  本研究では,ユーザが制御する対話型仮想キャラクタに対して,多種多様かつ指示可能な振る舞いを生成するための条件付き適応潜在モデル(CALM)を提案する。 模倣学習を用いて、CALMは人間の動きの複雑さを捉える動きの表現を学び、キャラクターの動きを直接制御できる。
  論文  参考訳（メタデータ） (2023-05-02T09:01:44Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)
• UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
  大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。 UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
  論文  参考訳（メタデータ） (2020-11-30T18:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。