論文の概要: FlexMotion: Lightweight, Physics-Aware, and Controllable Human Motion Generation

• arxiv url: http://arxiv.org/abs/2501.16778v1
• Date: Tue, 28 Jan 2025 08:02:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:43:08.168762
• Title: FlexMotion: Lightweight, Physics-Aware, and Controllable Human Motion Generation
• Title（参考訳）: FlexMotion:軽量・物理対応・制御可能な人体運動生成
• Authors: Arvin Tashakori, Arash Tashakori, Gongbo Yang, Z. Jane Wang, Peyman Servati,
• Abstract要約: 本稿では,潜在空間で動作する計算的に軽量な拡散モデルを利用する新しいフレームワークを提案する。 FlexMotionは、マルチモーダルで事前訓練されたトランスフォーマーエンコーダデコーダを採用し、関節位置、接触力、関節のアクティベーション、筋肉の活性化を統合している。 拡張データセット上でFlexMotionを評価し、現実性、物理的妥当性、制御性の観点からその優れた性能を示す。
• 参考スコア（独自算出の注目度）: 12.60677181866807
• License:
• Abstract: Lightweight, controllable, and physically plausible human motion synthesis is crucial for animation, virtual reality, robotics, and human-computer interaction applications. Existing methods often compromise between computational efficiency, physical realism, or spatial controllability. We propose FlexMotion, a novel framework that leverages a computationally lightweight diffusion model operating in the latent space, eliminating the need for physics simulators and enabling fast and efficient training. FlexMotion employs a multimodal pre-trained Transformer encoder-decoder, integrating joint locations, contact forces, joint actuations and muscle activations to ensure the physical plausibility of the generated motions. FlexMotion also introduces a plug-and-play module, which adds spatial controllability over a range of motion parameters (e.g., joint locations, joint actuations, contact forces, and muscle activations). Our framework achieves realistic motion generation with improved efficiency and control, setting a new benchmark for human motion synthesis. We evaluate FlexMotion on extended datasets and demonstrate its superior performance in terms of realism, physical plausibility, and controllability.
• Abstract（参考訳）: 軽量で、制御可能で、物理的に可視な人間のモーション合成は、アニメーション、バーチャルリアリティ、ロボティクス、人間とコンピュータのインタラクションアプリケーションに不可欠である。 既存の手法はしばしば計算効率、物理リアリズム、空間制御性の間で妥協する。 我々は,計算量的に軽量な拡散モデルを潜在空間で動作させ,物理シミュレータの必要性を排除し,高速かつ効率的なトレーニングを可能にする新しいフレームワークFlexMotionを提案する。 FlexMotionは、マルチモーダルで事前訓練されたトランスフォーマーエンコーダデコーダを使用し、関節の位置、接触力、関節のアクティベーション、筋肉のアクティベーションを統合して、生成された動きの物理的妥当性を保証する。 FlexMotionはまた、様々な動きパラメータ(例えば、関節の位置、関節のアクティベーション、接触力、筋肉の活性化)の空間的制御性を追加するプラグイン・アンド・プレイモジュールも導入している。 本フレームワークは,人間の動作合成のための新しいベンチマークを設定し,効率と制御性を向上し,現実的な動作生成を実現する。 拡張データセット上でFlexMotionを評価し、現実性、物理的妥当性、制御性の観点からその優れた性能を示す。

関連論文リスト

• Morph: A Motion-free Physics Optimization Framework for Human Motion Generation [25.51726849102517]
  我々のフレームワークは、身体的可視性を大幅に向上させながら、最先端のモーション生成品質を実現する。 テキスト・トゥ・モーション・アンド・ミュージック・トゥ・ダンス・ジェネレーション・タスクの実験は、我々のフレームワークが最先端のモーション・ジェネレーション・クオリティを達成することを示す。
  論文  参考訳（メタデータ） (2024-11-22T14:09:56Z)
• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model [9.525806425270428]
  本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。 動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。 我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-09T16:24:11Z)
• FreeMotion: A Unified Framework for Number-free Text-to-Motion Synthesis [65.85686550683806]
  そこで本稿では, 条件付き動作分布を用いて, 単独動作と多人数動作を統一する動き生成手法を提案する。 筆者らの枠組みに基づいて,現在ある一対一動作空間制御手法をシームレスに統合し,多対一動作の正確な制御を実現する。
  論文  参考訳（メタデータ） (2024-05-24T17:57:57Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics [21.00283279991885]
  DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。 様々な動作タスクや様々な物理的摂動にまたがってモデルを広範囲に評価し、応答のスケーラビリティと多様性を実証する。
  論文  参考訳（メタデータ） (2023-09-24T20:25:59Z)
• MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
  MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。 本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。 文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
  論文  参考訳（メタデータ） (2022-12-08T18:59:48Z)
• UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
  大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。 UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
  論文  参考訳（メタデータ） (2020-11-30T18:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。